CN107251103B - 增强现实系统及其操作方法 - Google Patents
增强现实系统及其操作方法 Download PDFInfo
- Publication number
- CN107251103B CN107251103B CN201580076789.1A CN201580076789A CN107251103B CN 107251103 B CN107251103 B CN 107251103B CN 201580076789 A CN201580076789 A CN 201580076789A CN 107251103 B CN107251103 B CN 107251103B
- Authority
- CN
- China
- Prior art keywords
- visibility
- augmented reality
- frame
- interest
- location
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/69—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by enabling or updating specific game elements, e.g. unlocking hidden features, items, levels or versions
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/70—Game security or game management aspects
- A63F13/73—Authorising game programs or game devices, e.g. checking authenticity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Environmental & Geological Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Architecture (AREA)
Abstract
一种增强现实系统和用于操作增强现实系统的方法,包含:位置传感器,其用于计算当前位置;方向传感器,其连接至位置传感器,用于计算当前方向;以及控制机构,其连接至位置传感器,用于基于当前位置、当前方向、对象位置、对象方向、访问权限、可见性和持久性呈现系统对象。
Description
技术区域
本发明总体上涉及增强现实系统,尤其涉及具有可视和持久性控制的增强现实系统。
背景技术
现代互联网系统的发展允许显示与特定内容相关的信息。网页可以被构成为包含至世界任何地方的背景环境内容的超链接。点击背景环境链接可向用户呈现包含图形、视频、音频、图像、三维(3D)信息或其组合的相关信息。
这样的背景环境信息可以显示在各种各样的设备上,包含计算机监视器、投影仪、智能眼镜、平板电脑、智能电话和三维显示器。在虚拟现实系统的情况下,信息可以链接到位置并显示在3D虚拟合成世界的呈现中。
以背景环境的方式呈现信息可以通过将信息与位置、时间、人物和事物相关联来提高信息的有效性。在适当的背景环境中显示信息可以增加背景环境信息的价值和可用性。
鉴于由于互联网流量的增加而需要有效利用信息,找到这些问题的答案变得越来越重要。鉴于日益增长的商业竞争压力,随着民众的期望日益增加,至关重要的是找到这些问题的答案。此外,降低成本、提高效率和性能以及满足关键时刻压力的需求,使得找到这些问题的答案的关键必要性更加迫切。
一直在寻求这些问题的解决方案,但之前的发展没有教导或提出任何解决方案,因此,长期以来,本领域技术人员回避了这些问题的解决方案。
发明内容
本发明提供一种用于操作增强现实系统的方法,包含:检测当前位置;检测当前方向;在当前位置的检测阈值内检测具有对象位置的系统对象;检索与系统对象相关联的内容;基于当前时间和持久性范围计算系统对象的持久性;基于访问权限和对象位置计算系统对象的可见性;以及基于持久性和可见性将系统对象的内容呈现给控制机构。
本发明提供一种增强现实系统,包含:位置传感器,其用于计算当前位置;方向传感器,其连接至位置传感器,用于计算当前方向;以及控制机构,其连接至位置传感器,用于基于当前位置、当前方向、对象位置、对象方向、访问权限、可见性和持久性呈现系统对象。
本发明的某些实施例具有除了上述那些之外还具有其他步骤或元件,或替代上述那些之外而具有其他步骤或元件。参考附图阅读下面的详细描述,本领域的技术人员将会了解这些步骤或元件。
附图说明
图1是本发明的第一实施例中的增强现实系统的示意图。
图2是全球坐标系的示例。
图3是建筑物坐标系的示例。
图4是使用建筑物坐标系的参考框架之一的示例。
图5是观看单元的第一示例。
图6是观看单元的第二示例。
图7是对象可见性的第一示例。
图8是对象可见性的第二示例。
图9是参考框架与感兴趣的点之间的关系的示意图。
图10是基本类型之间的关系的示意图。
图11是兴趣点与角色之间的关系的示意图。
图12是可见属性的示例。
图13是角色和令牌集的示例。
图14是持久性的示例。
图15是多层地图之一例子。
图16是参考框架的全局坐标系的示例。
图17是可视树之一例子。
图18是参考框架的建筑物坐标系之一例子。
图19是彼此协作的智能体的示意图。
图20是智能体数据结构的示例。
图21是查询数据结构之一示例。
图22是所有权数据结构之一示例。
图23是智能体行为之一示例。
图24是相关系统之一示例。
图25是增强现实系统的操作流程之一示例。
图26是本发明的另一实施例中的增强现实系统的操作方法的流程图。
具体实施方式
下面描述的实施例进行了足够详细的描述,以使得使本领域技术人员能够制造和使用本发明。应当理解,基于本公开,其他实施例将是显而易见的,并且可以在不脱离本发明的范围的情况下进行该系统、过程或机械变化。
在下面的描述中,给出了许多具体细节以提供对本发明的透彻理解。然而,很明显,在没有这些具体细节的情况下可以实施本发明。为了避免模糊本发明,一些众所周知的电路、系统配置和处理步骤没有被详细公开。
示出系统的实施例的附图是半图示且不按比例绘制,并且特别地,一些尺寸用于呈现的清晰度,并且在附图中被放大示出。类似的,虽然为了便于描述,在附图中的视图通常显示相似的方向,但在图中的这种描述大部分是任意的。通常,本发明可以在任意方向上操作。
在公开和描述具有一些共同特征的多个实施例的情况下,为了清楚和易于说明、描述和理解,类似和相似的特征将用相同或相似的附图标记来描述。
为了说明的目的,本文所使用的术语“水平面”被定义为平行于地表的平面或表面的平面,而不管其方向如何。术语“竖直”是指刚才定义的垂直于水平面的方向。术语例如“上”、“下”、“底”、“顶”、“侧”、“更高”、“更低”、“更上方”、“在…之上”和“在…之下”是关于水平面定义的,如图所示。
现在参考图l,其中示出了本发明的第一实施例中的增强现实系统100的示意图。增强现实系统100可以管理和呈现与真实世界中的当前位置144相关联的信息。
增强现实系统100可以访问并显示与可以表示真实世界中的元素的系统对象126相关的信息。例如,增强现实系统100可以在真实世界图像156上覆盖关于系统对象126的信息。真实世界图像156是从用户的角度来看当前场景的图片。当用户看真实世界中的当前位置144时,通过增强现实系统100可以显示与当前位置144相关联的信息。
当前位置144是真实世界中的物理位置。当前位置144可以以各种方式确定。例如,当前位置144可以是用户头部的中心、用户的几何形状中心、基于焦平面的用户感知、坐标或其组合。当前位置144可以根据与当前位置144周围的点或对象相关联的信息进行细化。当前位置144可以描述用户的位置、任意位置、目标位置、目的位置、已知位置或其组合。当前位置可以通过设备计算、手动输入、从外部来源接收或其组合。
系统对象126可以包含参考框架102、兴趣点106、物品110、角色122以及其他类似实体。增强现实系统100可以使用参考框架102的一个或多个来描述,每个参考框架102指定框架几何结构104,用于定位附属于包含内容108或链接到内容108的物品110的兴趣点106(POI:points of interest)。
参考框架102是用于定义位置的系统。例如,参考框架102可以包含基于坐标的系统、基于对象的系统、相对位置系统或其组合。
兴趣点106是用于位置的标识符。每一个兴趣点106可以与物理位置148相关联。兴趣点106可以是逻辑或物理位置。物理位置148可以是地理坐标、相对位置、基于信标的位置、建筑物中的房间,物体的一部分或其组合。逻辑位置可以是书的文本中的短语。例如,逻辑位置可以是具有与特定页面相关联的笔记的书签。
物品110是参考框架102之一中的对象的逻辑表示。例如,物品110是可以表示增强现实系统100中的内容、消息、结构或其他实体的数据。物品110可以是通过增强现实系统100可以操作的表示或数据。物品110可以是增强现实系统100的硬件可以表示或用于接收其他内容的数据。通常,框架几何结构104描述物理空间,兴趣点106指定该空间的特定部分,物品110可以将内容附加到那些特定位置。框架几何结构104可以用于表示和识别椅子、桌子和其他物理对象。然而,兴趣点106之一可以指定特定的椅子、桌子或椅子的一部分。然后物品110可以被分配至兴趣点106之一。兴趣点106是物理和虚拟世界之间的联系。
角色122是系统对象126的属性集。例如,角色122可用于描述安全类别、操作组、标识符或其组合。角色122可用于控制对系统对象126的访问。
增强现实系统100可以基于两个重要的属性来支持系统对象126与真实世界的管理和链接。每一个系统对象126可以具有可见性134和持久性136。
可见性134指示是否可以感知到系统对象126之一。系统对象126可以通过智能体116之一感知并向用户之一显示。可见性134可以根据一个个对象来确定,并且可以依赖系统对象126的位置、权限、安全性和其他属性。
可见性134可以控制谁能与系统对象126进行交互。与虚拟内容交互的每一个智能体116可以在相同的地方以不同的方式感知一些相同的对象。例如,诸如菜单的普通文本消息可以以不同语言向在相同位置上的不同用户显示。或者,针对另一个人的私人消息应当只对预期的人可见。该消息对其他人不可见。在另一个例子中,只有寻宝游戏的玩家在已经解决了正确的先前线索后能够感知游戏内容。
增强现实系统100可以在时间上管理系统对象126的生命周期。每一个系统对象126可以拥有持久性136的属性。持久性136是存在描述符。持久性136描述系统对象126在哪和它们将在特定位置多长时间。可以计算持久性136以确定系统对象126是否在当前时间154存在。当前时间154是是本地区域和通用时间格式的时间和日期。虽然持久性136被描述为属性,但应当理解,持久性136可以通过具有包含分层值的多个值的数据结构来表示。
持久性136可以描述系统对象126的位置及其在特定位置的持续时间。例如,如果虚拟对象被放置在墙上,则当用户稍后返回时,它应该仍然在那里。当具有正确权限的另一个智能体116到达以查看虚拟对象时,虚拟对象应该在相同的位置。即使更改任何本地应用程序或设备,虚拟对象都应该继续存在于增强的世界中。
系统对象126的持久性136可以具有不同的特点。例如,系统对象126可以配置为仅在星期三可用。另一个系统对象126可以被配置为仅在定义的时间段内可用。持久性136可以是连续的、间歇的、依赖于数据、依赖于条件、依赖于位置,或其组合。
系统对象126的持久性136可以控制系统对象126如何在用户之间共享。虚拟对象及其位置的描述通过网络必须可供任何用户得到。虚拟对象的属性可以存储在网络中,因此它不再依赖于本地系统或服务器。由于需要管理大量的智能体116响应智能体改变(例如移动)而与多个服务器实时交互,所以对象变化应该在几百毫秒内发生。
参考框架102是用于表示位置的坐标系。参考框架102可以以各种方式实施。例如,增强现实系统100可以基于地理坐标、相对坐标、结构背景环境或其组合使用参考框架102。在另一个例子中,参考框架102可以包含地表、建筑物的房间、书页、图片表面或基于来自信标的信号的相对位置。参考框架102可以基于时间,包括时间点,例如与特定日子发表的博客相关的时间点。
框架几何结构104可以指定如何识别参考框架102之一中的点。例如,框架几何结构104可以是全球定位系统(GPS:global positioning system)坐标、建筑物的连通图、传感器数据、相对于信标的位置数据、方向信息、同时位置和映射(SLAM:simultaneouslocalization and mapping)点云或其组合。
兴趣点106根据在参考框架102之一中的框架几何结构104指定特定区域。兴趣点106不仅可以代表一个点,还可以描述三维体积、二维表面或时变实体,例如运动中的物体。兴趣点106可以具有可能需要实时计算来计算的精确位置。
兴趣点106可以包含额外的位置信息,例如计算机视觉数据。例如,兴趣点106之一可以是在纽约市现代艺术博物馆的特定墙上的“星空之夜(Starry Night)”画作。视觉信息可以帮助在特定的房间中确定绘画的确切位置和方向,因为其他位置技术可能在建筑物内部被弃用。兴趣点106可以包含额外的位置信息来支承传感器融合方法,通过组合多个输入(例如GPS、磁力计、照相机或其他类似输入)来确定困难条件下的确切位置。
物品110是可以具有与其相关联的内容108的对象。物品110可以表示附属于兴趣点106的信息。例如,物品110之一可以是消息、信息、注释或类似数据。
兴趣点106可以覆盖物理词,而物品110可以是与兴趣点106之一相关联的逻辑对象。可以存在与兴趣点106中的单独一个相关联的多个物品110。在说明性示例中,蒙娜丽莎画的上唇可以是兴趣点106之一,并且用户可以将物品110之一(例如胡子)与上唇相关联。
内容108是可以与物品110相关联的信息。内容108可以是文本、音频、图形、图像、视频、3D内容、关系、行为、动作、属性或其组合。内容108可以基于物品110检索。
增强现实系统100可以包含智能体116。智能体116是与增强现实系统100交互的设备。例如,智能体116可以是具有一组传感器和显示器的计算设备,其可以改变物理世界以及参考框架102中的一个或多个中的位置。智能体116也可以包含连接至网络的通信单元,并与增强现实系统100和物理世界进行交互。
智能体116可以直接向人类用户显示信息。然而,智能体116还可以为诸如其他智能体116或其他计算机系统中的其他自动化系统提供信息。智能体116也可以根据所感知的信息改变自己的行为。
智能体116也可以将信息直接提供给其他智能体116或外部系统。智能体116可以与外部系统交换信息,并在物理世界中启动动作。例如,基于来自增强现实系统100的信息,智能体116可以启动报警系统、关闭阀门、改变照明等级、控制空调系统的温度、与电子商务系统交互以改变产品价格、控制十字转门或类似的活动。
虽然增强现实系统100被描述为显示信息,但是应当理解,显示信息包含将数据传送到其他系统以执行动作。显示信息的动作涉及将信息用于各种目的,包括控制显示设备、控制其他系统、执行动作或其组合。
智能体116可以与兴趣点106相关联。智能体116的组可以基于兴趣点106的共同位置彼此共同定位。
增强现实系统100可以支承访问权限120的系统。访问权限120可以定义系统对象126的许可和可允许的动作。系统对象126可以包含参考框架102、兴趣点106、物品110和系统中的其他实体。访问权限120可以包含访问可见性134的属性,但可以有任意大量的访问权限120。例如,访问权限120可以包含在参考框架102之一中创建兴趣点106之一,或者将物品110之一附加到兴趣点106之一的权限。
访问权限120可以以多种方式配置。例如,访问权限120可以被组织成被称为角色122的集。不同的访问权限120可以出现在不同的角色122中。
在说明性示例中,参考框架102之一可以指定建筑物中的房间。框架几何结构104可以通过三维坐标参考来表示。增强现实系统100可以代表房间的物理布局,包括物品110如桌椅的坐标。
增强现实系统100的用户可以通过将内容108与表中的兴趣点106之一相关联来向朋友留下消息114。可以给消息114分配访问权限120,使得仅对具有访问权限120来感知消息114的另一个人可见。物品110之一包含表示消息的内容108并且可以被分配访问权限120以可见。
增强现实系统100也可以显示带消息114的头像112。该头像112是可以表示消息114的所有者或发起者的显示元素。头像112可以通过人物、棒状图、符号、动画、图形或其他类似的元素来表示。
消息114可以使用观看单元118显示。观看单元118是用于在增强现实系统100中观看系统对象126和内容108的设备。观看单元118,例如智能眼镜、平板电脑、智能电话、电子阅读器或其他类似的观看设备,可以作为场景124的一部分显示消息或者可以自己显示消息114。
虽然观看单元118单元被描述为用于显示信息的设备,但是应当理解,观看设备118可以执行其他动作。增强现实系统100可以将系统对象126的信息呈现给观看单元118来执行动作。观看和显示的术语是执行动作的一般术语的抽象化。该动作可以包含显示信息、基于信息执行活动、基于所呈现的信息控制另一个系统,或其组合。观看单元118可以是显示单元、致动器、控制机构或其组合。控制机构是用于控制另一系统、装置、机构、计算机、控制器或其他外部系统的设备。例如,控制机构可以作为电子系统的控制器。
智能体116可以包含观看单元118来显示消息114。例如,智能体116可以作为在观看单元118上运行软件(未显示)来实现。观看单元118可以具有当前位置144。当前位置144是观看单元118的物理位置。
每一个智能体116可以与一组角色122相关联。通过角色122,每一个智能体116可以与特定的一组访问权限120相关联。与每一个智能体116相关联的访问权限120控制通过智能体116的观看单元118显示哪个内容108。
每一个智能体116可以与参考框架102的一个或多个相关联。因此,兴趣点106、参考框架102之一、和与智能体116之一相关联的角色122的组合可以确定对智能体116之一可以显示哪个内容108。
例如,智能体116之一可以通过在真实世界中物理地进入或离开相关联的建筑物来进入或离开代表建筑物的参考框架102。每一个智能体116可以包含针对当前参考框架102的对象位置128和对象方向130。
对象位置128和对象方向130可以基于当前的参考框架102的框架几何结构104。对象位置128和对象方向130可以确定兴趣点106中的哪一个在智能体的视野132中。针对智能体116的视野132可以用于确定系统对象126相对于兴趣点106中的当前一个附近的智能体116之一的可见性134。此外,对象位置128和对象方向130可以确定系统对象126中的哪一个可以与智能体116之一交互。
增强现实系统100可以将对象位置128和对象状态152传达给智能体116。当智能体116接收关于对象位置128、对象方向130和对象状态152的信息时,智能体116可以确定发生哪些动作。对象状态152是系统对象126之一的属性。对象状态152可随时间变化。
例如,智能体116可以接收足够的信息以识别物品110中的哪一个位于当前的参考框架102。信息可以包含物品的位置、物品的缩略图、关于物品的其他状态信息、将物品链接到数据源的通用资源定位符(URL)或其组合。
增强现实系统100可以构成为通过在对象位置128附近加载关于兴趣点106的信息来动态地加载关于物品110的信息。该信息可以包含内容108、消息114或者标记有兴趣点106的对象位置128的其他信息。
一旦智能体116意识到物品110,增强现实系统100就允许智能体116直接与具有关于物品110的信息的外部数据系统进行通信。外部数据系统的URL可以与物品110相关联。或者相关联的物品110的信息可以包含代码,例如JavaScript,或其他用于执行信息传送的例程。外部数据系统也可以提供附加信息来呈现和显示系统对象126。
增强现实系统100可以基于由与观看单元118相关联的传感器138提供的当前位置144和当前方向146通过观看单元118显示系统对象126。当前位置144和当前方向146可以确定增强现实系统100中的系统对象126的可见性134。可见性134也可以表示有权限意识到系统对象126中可能不在直接的视线中的一个。
观看单元118可以包含各种传感器。例如,传感器138可以包含位置传感器140、方向传感器142、GPS单元、照相机、成像系统、加速度计、蜂窝塔三角测量系统(cell towertriangulation system)或其组合。
位置传感器140是使用观看单元118确定用户的当前位置144的设备。例如,位置传感器140可以是GPS单元、蜂窝塔三角测量系统、基于WiFi的位置传感器、光学定位系统或类似的定位系统。当前位置144可以使用传感器融合方法,通过组合几个传感器输入来优化位置而确定。位置传感器140也可以将几个传感器子系统组合起来,以按增强现实系统所要求的准确度确定当前位置144。所需的准确度可以是可以根据需要进行调整的系统或用户等级参数。虽然位置传感器140被描述为传感器设备,但应当理解,位置传感器140可以支持用户或其他外部系统直接输入位置。因此,当前位置144可以由用户通过将位置值输入到位置传感器140中来任意地选择,由位置传感器140直接计算,从外部源接收或其组合。检测当前位置144可以包含计算、输入、接收或其他动作以获取当前位置144。
方向传感器142是用于在观看场景时确定用户的当前方向146的传感器。例如,方向传感器142可以是加速度计、机构方向系统或类似的系统。虽然方向传感器142被描述为传感器设备,但应当理解的是,方向传感器142可以支持方向信息的直接输入。因此,当前方向146可以通过由用户通过将方向值输入到方向传感器142来直接选择,通过由方向传感器142进行计算,从外部源接收,或其组合。检测当前方向146可以包含用于获取当前方向146的计算、输入、接收或其他动作。
观看单元118可以连续更新用户的当前位置144和当前方向146。观看单元118的当前位置144和当前方向146可以确定哪个兴趣点106在附近。附近是当兴趣点106在当前位置144的检测阈值150内。检测阈值150是可以使用兴趣点106之一的距离。检测阈值150可以针对每个用户而不同。检测阈值150可以基于参考框架102之一的特点。
增强现实系统100可以向智能体116下载信息,以使用各种技术优化带宽。例如,每一个系统对象126可以具有活动的意识半径。可以下载超出半径的系统对象126的信息,但只有当它们在意识半径内时才能显示。
无线互联网设备的无处不在带来了将虚拟世界融入真实世界的能力。增强现实可以用虚拟内容填充空间中的任何对象或点,以提供更丰富的信息体验。在互联网上,内容和链接在网络浏览器环境中可用。这允许用户阅读网页并跟进相关内容的链接。然而,在正常情况下,用户仅限于计算机屏幕和网络浏览器。
在增强现实系统100中,内容和链接与人、建筑物、汽车、怪物、书籍、餐馆评论等的代表所表达的物理世界相关联。交互是通过真实世界物体与其增强现实表现和增强的物理接近度及来控制。虽然可以通过输入或点击网页上提供的定义链接来访问正常的网络内容,但可以通过移动和与物理世界进行交互来实现增强的世界内容。增强现实世界提供了类似的系统,让您可以找到并使用物理上围绕您的内容。在增强现实系统100中,可以使真实世界中的任何对象或位置配置有内容108的超链接或其他动作。
已经发现,增强现实系统100通过限制系统对象126的可见性134和持久性136来提高信息显示的无缝性。减少提供给用户的信息量使用户更有效率,使体验更加自然。
增强现实系统100可以允许系统的任何用户随时将空间中的任何点或任何对象制成链接。用户可以不经知道地穿过链接和服务的雾。增强现实系统100可以提供共享体验,用户可以将自己的视角加入到这个巨大的共享增强现实中。
增强现实系统100可以在移动计算设备(例如观看单元118)上执行计算、显示媒体、显示消息、支持用户之间的交互、执行事务和其他操作,这是通过设备与其周围的物理世界基于传感器数据的交互单独或与其他联网设备触发的。虽然增强现实可以被认为是在智能手机、平板电脑、电子阅读器或智能眼镜上显示虚拟内容,切断一些真实世界对象,例如图片或快速响应(QR:Quick Response)代码,但增强现实系统100显示不限于向人们展示图片。增强现实系统100支持真实世界中移动的设备之间的协同动作、虚拟对象的创建和生命周期管理以及真实世界与增强世界之间的交互,内容显示是一种重要的交互类型,但不是唯一的一种。
增强现实系统100的实施需要各种技术的互操作。增强现实系统100是系统的集成,例如计算云、服务器、计算机视觉系统、三维图形系统、全球定位系统(GPS)、无线网络等等,来提供可以由增强现实系统100的用户共享的全球空间。
已经发现,基于持久性136显示系统对象126可以通过减少系统消耗来提高性能。在系统对象126在当前时间154处于活动状态时标注每一个系统对象126与持久性136,,简化了系统对象126的检测。
现在参考图2,其中示出了全局坐标系202的示例。图1的参考框架102之一可以使用全局坐标系202来表示位置。例如,全局坐标系202可以是提供纬度和经度坐标以指定地球上的位置的GPS系统。
GPS系统可以包含GPS卫星204,其可以促进围绕球206的GPS信号的接收,以确定图1的增强现实系统100中的结构的位置。一组坐标可以定义图1的兴趣点106、图1的物品110、参考框架102或增强现实系统100中的其他对象的位置。
现在参考图3,其中示出了建筑物坐标系302的示例。建筑物坐标系302可以基于建筑物的结构来代表位置。建筑物坐标系302可以基于地板304和房间306识别位置。例如,图1的兴趣点106之一的图1的对象位置128可以被定义为建筑物3的房间2。因此,图1的参考框架102之一可以使用建筑物坐标系302来指示图1的增强现实系统100内的位置。入口点308可以用于从图2的全局坐标系202进入建筑物坐标系302。
现在参考图4,其中示出了使用图3的建筑物坐标系302的参考框架102之一的示例。兴趣点106之一可以在建筑物之一房间内。参考框架102之一可以使用以分层结构来表示位置的建筑物坐标系302。
用于参考框架102之一的建筑物坐标系302可以包含入口点308、房间306和走廊310。例如,参考框架102之一可以指出兴趣点106之一在建筑物三楼的房间2中。
建筑物坐标系302可以通过多种方式进行配置。例如,建筑物坐标系302可以使用楼层号码和每个楼层上的房间和走廊的详细说明来表示位置。房间和走廊的每一个都可以在建筑物坐标系302中唯一标识。
入口点308可以表示参考框架102中的两个之间的接口。例如,图1的智能体116之一可以导航至图2的全局坐标系202中的建筑物然后在入口点308进入建筑物。在进入建筑之后可以使用建筑物坐标系302。
现在参考图5,其中示出了观看单元118的第一示例。观看单元118可以包含可戴在用户眼睛上的智能眼镜、智能隐形眼镜或类似的系统。观看单元118可以显示图1的增强现实系统100的图1的物理世界和内容108的表示。
观看单元118可以包含显示器、计算单元、位置传感器、方向传感器、成像单元及其他类似部件。使用各种传感器,观看单元118可以基于图1的消息114的图1的对象位置128向用户呈现图1的场景124的显示,其中内容108在场景124内正确地定向。
观看单元118可以显示真实世界图像并提供信息覆盖,以基于真实世界以正确位置和方向显示图1的系统对象126。图1的传感器138,例如位置传感器140和方向传感器142,可以实时、真实地确定用户的图1的当前位置144,并根据当前方向146将信息显示与真实世界对准。因此,在通过观看单元118观看时,观看单元118可以在合适的相对位置显示内容108。
现在参考图6,其中显示了观看单元118的第二示例。观看单元118可以包含由用户观看的平板电脑或智能手机。观看单元118可以显示增强现实系统100的图1的物理世界和内容108。
观看单元118也可以构成为仅显示内容108,并且仅当观看单元118被正确定向并且瞄准内容108的位置时。例如,用户可以握住平板电脑并将相机对准现场。作为智能体116之一的平板电脑可以显示来自相机的图像与增强现实内容的重叠。或者,平板电脑可以显示特定内容,例如消息。
观看单元118例如平板电脑或智能手机,可以包含显示器、计算单元、位置传感器、定向传感器、成像单元或其他类似部件。使用各种传感器,观看单元118可以向用户显示图1的场景124和内容108,其中内容108基于图1的消息114的图1的对象位置128在场景124内正确地定向。
观看单元118可以显示真实世界图像,并提供信息覆盖,以便基于真实世界以适当位置和方向显示图1的系统对象126。传感器138,例如图1的位置传感器140和方向传感器142,可以确定在真实世界中的用户的当前位置144,并根据当前方向146将信息显示与真实世界对准。因此,在通过观看单元118观看时,观看单元118可以在合适的相对位置显示内容108。
现在参考图7,其中示出了对象可见性的第一示例。图1的增强现实系统100可以包含适用于多个用户的内容108。每条图1的内容108可以具有图1的访问权限120,其被配置为仅对特定用户或用户组可见。
在说明性示例中,如果位于共享表上的两个用户为两个不同的用户留下消息,那么消息可以具有访问权限120,以仅对预期用户可见。每一个用户已经为其预期观众创建了消息114,并且将消息114与在物品110(例如桌子)上的兴趣点106之一相关联。消息114可以包含例如比尔的个人笔记702、珍妮特的电子邮件704、菜单706、日常特殊事件708和针对玩游戏的用户的游戏通知710的信息。
虽然该表包含消息114的所有,但每个目标用户只能感知到针对他们的消息114。在此,比尔只会看到针对比尔的消息,并且只有珍妮特才会看到针对珍妮特的消息。每个用户也可以感知与消息114相关联的头像112。
此外,所有用户将能够感知到分配给在物品110上的兴趣点106之一的表示“星咖啡特价两美元”的每日特价708的消息114,物品110为例如桌子。“星咖啡”的消息114的访问权限120构成为对所有用户可见。
每一个增强现实系统100的用户可以基于他们的单独背景环境而被提供他们自己的个性化虚拟内容,背景环境包含图1的当前位置144、图1的当前方向146、图1的对象位置128、图1的对象方向130、图1的视野132、和访问权限120。可以通过使用用于图1的智能体116的图1的观看单元118来促进独特的视域,图1的智能体116可以包括在设备上运行的软件例如平板电脑、智能电话、电子阅读器、智能眼镜或其组合。
控制在兴趣点106之一中的可见性的原因很多。由于可以存在与对象位置128中的任一个相关联的任何数量的兴趣点106,所以必须减少非必要物品的图1的可见性以减少图1的场景124的杂乱度。此外,一些在场景124中的物品110中可能不可见,因为可见性可能取决于时间或其他因素。
可以修改可见性134,因为兴趣点106之一可以依赖于与另一个对象、物品或智能体的交互。例如,如果物品110之一被包围在虚拟盒子中,那么只有当它从盒子中移除时才会变得可见。在另一个例子中,虚拟寻宝中的物品只有在遇到其他物品之后才可见。
可见性134可以取决于内容108的隐私。例如,用户之间的通信或消息的隐私设置可能会影响可见性134。从一个用户到一个或多个其他用户的私人消息应该只对预期的收件人可见。在另一个例子中,从老师到一群学生的消息114应当只能被学生和老师看到。在另一个例子中,带一群学生到博物馆旅行的的老师可以提供既保护时间又保护隐私的预设置内容。
可见性134可以由商业原因控制。例如,娱乐内容在增强现实系统100中可以只能对付款客户可见。可以根据会员资格,例如俱乐部会员资格限制对一些内容108的访问。
增强现实系统100可以允许用户选择性地控制它们查看的内容。由于某些用户可能对某些内容不感兴趣,因此可以使用用户配置文件来控制他们想看到或不想看到的某些物品的可见性。用户可以标识物品或个别物品的类别,使其可见并忽略其他物品。
可见性134也可以基于用户与物品110之间的距离。可以基于图1的参考框架102中的当前一个参考框架的坐标系以不同的方式测量距离。例如,远方的物品110可以降低能见度。使用建筑物坐标系的参考框架102中的不同房间中的物品110可以被设置为不可见。
可见性134也可以基于查询操作的结果进行控制。例如,如果用户查询系统并返回物品110之一,则该返回的物品只有在搜索结果返回后才可见。
可见性134是访问权限并且是访问控制的一般区域的一部分。由于增强现实系统100位于智能体116与每一个物品110的所有者之间,所以需要一种简单、低成本的方式来解决和确定物品110的可见性。在某些情况下,确定物品110的可见性的计算力可以被卸载到外部数据系统,例如为通过物品110的所有者拥有或控制的系统。
现在参考图8,其中示出了对象可视性的第二示例。观看单元118可以构成为仅显示与观看单元118的用户的图1的访问权限120相对应的图1的内容108。
在说明性示例中,兴趣点106之一可以与内容108中的一个或多个相关联,每个内容具有访问权限120的不同组。观看单元118可以构成为仅显示具有与观看单元118的用户相关联的访问权限120的行进集的内容108和消息114。内容108可以与兴趣点106之一相关联。
在这个例子中,用户比尔的观看单元118可以感知寻址到位于兴趣点106之一的比尔的个人笔记702。用户比尔也可以观看一般信息,例如每个人都可以看到的菜单706和每日特价708。观看单元118无法查看发往珍妮特的邮件704,因为比尔没有查看该信息的访问权限120。另外,如果比尔是玩游戏的用户,则表示为“你已经找到了权力之剑。”的游戏通知710可以被感知。
现在参考图9,其中示出了图1的参考框架102与图1的兴趣点106之间的关系的示例图。参考框架102可以包含其他参考框架102和多个兴趣点106。
参考框架102之一,例如第一框架902,可以包括参考框架102和兴趣点106的一个或多个。在第一框架902中可以有几个参考框架102和几个兴趣点106、第二框架904、第三框架906、第一点908、第二点910、第三点912和第四点914。参考框架102可以处于分层关系。在某些情况下,参考框架102可以是正交的和不相交的。在其他情况下,参考框架102的一些可以是重叠的。
兴趣点106可以具有不同的配置。例如,第一点908可以是由第一框架902的几何结构中的单个点定义的兴趣点106之一。在另一个例子中,第一点908可以通过使用建筑物几何结构的参考框架102之一中的单个房间来定义。
在另一个示例中,第二点910可以是兴趣点106之一,通过第二点910的坐标周围的圆形区域定义。第二点910可以通过第一框架902的几何结构中的坐标点周围的区域的坐标点和描述来定义。该区域的描述可以包括简单的半径、几何结构的描述、数学方程或其组合。
仍然在另一个示例中,第三点912可以是兴趣点106之一,通过任意形状,例如半圆或半球的坐标定义。对于第三点912的区域的描述可以由任意形状的坐标点集、图像掩模、基于现有形状的相对坐标或任意形状的其他描述来定义。如果第三点912表示以建筑物的窗子上的点为中心的给定半径的球体,则兴趣点106中的特定兴趣点的描述可以包括围绕第三点912并在建筑物内的球体的部分,导致建筑物内第三点912的半球形体积。在建筑物外部的球的部分不是第三点912的一部分。
每一个兴趣点106仅在参考框架102之一中可见。这由第三点912示出,其仅在第一框架902内可见。
第一框架902可以包含第二框架904和第三框架906。第二框架904可以在第一框架902中。第三框架906可以完全在第二框架904和第一框架902中。这可以在第一框架902可以通过物理地理坐标例如GPS坐标系来定义时示出。第二框架904可以利用建筑物坐标系。第三框架906可以利用在建筑物坐标系中的分层坐标系,例如以房间为中心的坐标系、以书本为中心的坐标系、基于家具坐标系、或适合在建筑物坐标系内存在的类似的描述性坐标系。
图1的用户和智能体116可以在参考框架102之间移动。例如,通过与附属于第二框架904中的兴趣点106之一的图1的物品110之一相互作用,智能体116可以从第一框架902移动到第二框架904中。
智能体116可以同时在多个系中。例如,当在博物馆参观或当玩增强现实游戏时,智能体116可以在具有建筑物坐标系302的参考框架102之一中,以及在具有图2的全局坐标系202的参考框架102的另一个中。
在另一个示例中,智能体116可以通过进入邻近在第三框架906中的兴趣点106之一移动进第三框架906中。第三框架906可以是第二框架904的兴趣点106之一的物品110之一。
在说明性示例中,考虑博物馆的增强现实之旅。博物馆可以通过第二框架904表示,其可以是在第一框架902内的位置的参考框架102之一,其可以是表示真实世界的GPS坐标系。第二框架904可以是使用以建筑物为中心的坐标系的用于整个博物馆的参考框架102。用户或智能体116可以基于在真实世界中对博物馆的物理接近度和与物品110之一交互进入第二框架904,物品110为例如在博物馆内的虚拟购票窗口,用于购买增强现实博物馆之旅。
类似的,第三框架906可以是博物馆里的绘画。当游览博物馆时,绘画可以作为兴趣点106之一而脱颖而出。但是,当用户靠近在真实世界中的绘画时,图1的增强现实系统100可以显示与图像相关联的兴趣点106。兴趣点106可以和与图像相关联的图1的内容108例如描述图片的音轨,与绘画的绘画风格相关联的图1的消息114,或类似的信息相关联。
现在参考图10,其中示出了基本类型之间的关系的示例图。基本类型描述图1的系统对象126。基本类型可以包含图1的参考框架102、图1的兴趣点106和几何结构。
参考框架102可以包含第一框架1002、第二框架1004、第三框架1006、和第四框架1018。兴趣点106可以包含第一点1008、第二点1010、第三点1012、第四点1014和第五点1036。几何结构可以包含第一几何结构1020、第二几何结构1022和第三几何结构1024。几何结构可以描述与系统对象126相关联的图1的框架几何结构104。
每一个参考框架102可以与几何结构之一相关联。例如,第一框架1002可以与第一几何结构1020相关联。类似的,第二框架1004、第三框架1006、和第四框架1018可以分别与第二几何结构1022、第三几何结构1024相关联。
兴趣点106可以与系统对象126相关联,例如物品110或其他框架。物品110可以包含第一物品1038或第二物品1040。
第一框架1002和第二框架1004可以共享相同的几何结构。其他参考框架102可以有自己独立的几何结构。
兴趣点106可以与在两个兴趣点106的物品110之一共享物品。例如,第一物品1038可以在第二点1010和第四点1014中。第一物品1038可以在参考框架102的两个中看到。第一物品1038可以与图1的内容108相关联。内容108可以是链接到外部数据系统的URL。
第一点1008和第三点1012均可以与参考框架102中的一个或多个相关联。每一个兴趣点106可以通过靠近兴趣点106之一而遇到。
第二物品1040可以链接到第四框架1018以显示第二物品1040可以与第四框架1018交互。当图1的智能体116之一在与第二物品1040进行交互之后才能进入第四框架1018时,这可以发生。例如,第二物品1040可以是在智能体116之一可以进入第四框架1018之前需要打开的虚拟门。
参考框架102、兴趣点106和物品110可以是具有功能和属性的系统对象126。这与面向对象系统的广义范例类似。
图1的增强现实系统100中的每个系统对象126的重要属性之一可以是图1的可见性134。并非在参考框架102之一中的所有智能体116都可以意识到所有的系统对象126。
增强现实系统100可以包含访问令牌1034(AT)组。系统对象126的每个方法可以与某组访问令牌1034相关联。与访问令牌1034之一相关联的智能体116的任何一个可访问由访问令牌1034控制的系统对象126。访问令牌1034是为系统对象126实现图1的访问权限120的机构。
可见性134是系统对象126的重要属性,并且只有具有访问令牌1034中的合适访问令牌1034的智能体116可以查看系统对象126中的相关系统对象。同一个访问令牌1034可以被多于一个系统对象126使用。例如,与一个游戏相关联的所有系统对象126可以使用访问令牌1034之一,例如“令牌A”来实现系统对象126的可见性134。具有“令牌A”的任何一个智能体116可以在其游戏中感知到系统对象126,但是在其他游戏中未必感知到系统对象126。
访问令牌1034可以组织成图1的角色122。每一个角色122可以为智能体116提供共同的能力和属性组智能体。
现在参考图11,其中示出了图1的兴趣点106与角色122之间的关系的示例图。每一个角色122可以具有表示可见性134和插入函数1112的属性。可见性属性可以确定与兴趣点106相关联的图1的物品110的可见性134。插入函数1112可以将图1的系统对象126之一插入兴趣点106之一。
每一个角色122可以包含图10的访问令牌1034,用于控制访问某些数量的属性和方法。例如,第一令牌1102可以允许访问第一点908和第二点910的可见性134。角色122可以随着时间变化而变化。
角色122可以控制对插入方法的访问。例如,第二令牌1104可以允许访问第一点908的插入方法。第三令牌1106可以允许访问第二点910的插入方法。令牌可以被分组以形成角色122。第一角色1108可以包含第一令牌1102和第二令牌1104,用于控制第一点908的可见性134和插入函数1112。第二角色1110可以包含第一令牌1102和第二令牌1104,用于控制第二点910的可见性134和插入函数1112。
在任何时间点,图1的智能体116之一可以与角色122的一些和图1的参考框架102的一些相关联。例如,智能体116之一可以通过进入或离开与参考框架102的建筑相关联的物理位置而与参考框架102之一相关联。每一个智能体116可以与图1的对象位置128和可选地与图1的对象方向130相关联,对象方向130如参考框架102中的当前一个参考框的图1的框架几何结构104所指定。参考框架102可以基于对于兴趣点106和物品110的可见性134权限,确定哪个兴趣点106和物品110在智能体116的图1的视野132内是可见的。
图1的增强现实系统100的目的是为智能体116传达对象位置128和系统对象126的一些状态和状态变化。增强现实系统100可以存储与物品110相关联的大部分信息,但也可以从外部系统中检索一些信息。
现在参考图12,其中示出了可见性属性的示例。系统对象126之一可以与一组属性和访问权限120相关联。系统对象126可以与兴趣点106、对象位置128、对象方向130、角色122和令牌集1202的列表的可见性134相关联。
令牌集1202可以是授权系统的实施。每一个系统对象126可以具有一组访问权限120。访问权限120可以控制功能例如针对对象的创建、删除、更新和其他特定于对象的方法和更高等级的交互。访问权限120可以分组成角色122或被单独分配。角色122可以包含访问权限120中的单独访问权限和令牌集1202。
例如,增强现实系统100可以使用基于角色的访问控制(RBAC:Role Based AccessControl)技术。每一个系统对象126可以具有操作集,例如能够访问系统对象126的某些属性。每一个操作可以与某些访问令牌1034集相关联。访问令牌1034可作为权限已知。每一个角色122可以是访问令牌1034集。令牌集1202可以是访问令牌1034集,其包含包含角色122的集。
在说明性示例中,假设有系统对象126集,每个具有读和写功能。另外,系统对象126之一可以与其他系统对象不同,并且需要不同的写功能。增强现实系统100可以实现三个访问令牌1034:正常阅读、正常写入、和特殊写入。系统对象126的大部分可以使用访问令牌1034之一,即正常阅读,用于读操作,和使用访问令牌1034之一,即正常写入,用于写操作。一些系统对象126可以被分配用于特殊写入而不是正常写入的访问令牌1034。
增强现实系统100也可以包含访问令牌1034来支持三种角色122:读者、作家、超级用户。读者角色可以被分配正常阅读令牌。作家角色可以被分配正常阅读和正常写令牌。超级用户角色可以被分配特殊写令牌。
与读者角色相关联的用户可读。与作家角色相关联的用户可写。并且与超级用户角色相关联的用户可以访问超级写令牌。
智能体116可以被分配一组角色122以确定与图1的参考框架102中的系统对象126的可能交互。与智能体116相关联的角色122可以随时间变化。
角色122可以以各种方式实施。因为在增强现实系统100中的角色的数量可以任意大,所以系统必须能够表示和索引大量的角色122。每一个系统对象126可以有自己的角色122集。系统对象126可以与来自不同来源的角色122相关联。角色122对时间和位置敏感。系统对象126的角色122的实现提供了增强现实系统100的细粒度语义。
智能体116可以具有许多同时与其相关联的角色122,但是图1的增强现实系统100可以被配置为仅在特定时间和位置跟踪子集。例如,当智能体116与图1的物品110交互时,用户可以在有限的场所中在有限持续时间内获得某些角色。与物品110之一相关联的角色122可以在不再需要时被除去。
例如,游戏玩家可以使用与角色122中的一般角色相关联的智能体116之一,角色122用于当玩家靠近内容的物理位置时使来自游戏的内容和内容更新可见。但是玩家可以另外分配与游戏相关联的角色122的另一个,其提供与在游戏中的物品110中的一些交互的能力。
在另一个示例中,智能体116之一可以与一些物品110交互以建立建立提供临时权限组的合同,该临时权限例如同意在商场中接收附近商店的广告。访问权限120可以允许用于打折代码的购买者信息的交换。
当系统对象126在特定位置添加或更新时,可以修改系统对象126的可见性。然而,必须使用有效的机制来映射系统对象126与智能体116或角色122之间的可见性。与对每一个智能体116或角色122可见的系统对象126的列表相关联的一个替代机制是使用访问令牌1034。增强现实系统100可以配置为使得访问令牌1034的数量不会超过操作的数量。智能体116之一可以执行一个操作或不执行,所以每个操作都具有访问令牌1034之一就足够了。每一个角色122可以具有或不具有访问令牌1034。实际上,访问令牌1034的总数会少得多。类似的,角色122的数量应该没有明显超过智能体116的数量。每一个智能体116可能有一些独特的能力,例如自我修改,但是共享功能的数量将远远小于总用户数。
或者,在参考框架102之一中的许多系统对象126相似的情况下,系统对象126的组可以作为组来操作。系统对象126的组可以与令牌集1202相关联,该令牌集1202包含适用于组中的系统对象126的各种属性和方法。
可见性134可以以各种方式实施。例如,可见性134的第一级与智能体116已经感知或可以访问的坐标系的根相关联。智能体116可以访问与例如使用GPS坐标系的参考框架102之一的全局空间相关联的角色122的基本集。角色122可以在智能体116之一的图1的当前位置144附近暴露物品110的一些。与物品110交互可以暴露与物品110相关的角色122中的另一些。
与可见性134相关联的角色122可以链接至参考框架102和与其相关联的图1的框架几何结构104的一个或多个。几何结构的概念是以更有组织和一致的方式更好地将兴趣点106分段的技术。
例如,如果用户在博物馆中,则兴趣点106可以坐落在博物馆的框架几何结构104中,例如使用建筑物坐标系而不是GPS。使用建筑物坐标系可以更准确,因为GPS的准确度有限,并且甚至在室内不可用,而博物馆内部的模型可以用于建筑物坐标系,并且使用其他位置信息例如信标或WiFi接入点信息增强。
现在参考图13,其中示出了角色122和令牌集1202的示例。智能体116可以与角色122相关联,其中角色122还可以另外与令牌集1202之一相关联。
每一个智能体116可以具有各种各样的角色122。然而,由于角色122的数量可以迅速激增,所以需要控制与每一个智能体116相关联的角色122的总数,以更好地管理系统资源。另外,当智能体116之一移动时,图1的增强现实系统100必须更新附近的图1的兴趣点106的集,包含检测和管理已经被添加或更新的兴趣点106中的任何一个。这个过程必须在系统资源方面有效地管理。
为了有效地做到这一点,必须使用各种技术减少通过增强现实系统100操纵的数据量。例如,应当使用工作存储器来确定必须采取什么实时行动。代码和数据结构应该缓存在物理存储器中或另外组织以减少磁盘访问的消耗。使用本地缓存的信息可以在向用户通知创建、更新、和删除图1的系统对象126时提高性能。另外,系统维护任务,例如更新和其他通知可以在增强现实系统100附近分布,以增加并行度。
每一个系统对象126具有与图1的可见性134以及系统对象126可见的可见性范围1302相关联的角色122组,可见性范围1302根据系统对象所属的图1的框架几何结构104表示。可见性范围1302是系统对象126之一能够被看见的距离。如果系统对象126之一被更新或添加到增强现实系统100,那么只有具有适当的角色122之一并且在图1的当前位置144中的与几何形状相关联适当配置的智能体116需要被更新。
现在参考图14,其中示出了持久性136的示例。持久性136由属性组(通常是分层的)确定,其可以定义图1的系统对象126之一的图1的对象位置128的生命周期。
在说明性示例中,用户可以创建系统对象126之一,例如个人笔记702,并将其与图1的访问权限120相关联,以对用户比尔可见。与兴趣点106之一(例如桌子)相关联的物品110之一可以与每日特价708和个人笔记702的消息相关联。由于消息是时间敏感的,所以个人笔记702可以构成为具有设置为5分钟的持久性136。个人笔记702在创建后5分钟后被自动删除。然而,每日特价708的持久性136可以持续一整天。
持久性136固有地固定在真实世界与增强现实世界之间的接口。因为需要在真实世界中定位系统对象126(例如物品110)的传感器的不可靠性,的所以保留系统对象126的持久性136可能受到负面影响。正确管理系统对象126的图1的当前位置144所需的处理必须是稳健的。
为了有效地管理图1的增强现实系统100,兴趣点106可以基于图1的参考框架102被分段。每一个兴趣点106可以与参考框架102之一相关联,以根据所选择的参考框架102之一的图1的框架几何结构104准确地确定兴趣点106的当前位置144。
参考框架102中的两个通常不变。首先,使用GPS位置和时间的图2的全局坐标系202。其次,使用图1的智能体116之一的个人坐标系。这可以是可以物理跟踪在真实世界中的智能体116之一的坐标系。其他坐标系根据通过智能体116与兴趣点106的交互进入和退出。
每一个智能体116可以进入并以各种方式与参考框架102之一交互。例如,智能体116可以经批准进入参考框架102。每一个智能体116自动地在智能体116之一的参考框架102、全局坐标系202和个人坐标系1406中的两个中。智能体116也可以通过外部交互例如通过购买权限或加入游戏来与参考框架102的另外参考框架相关联。
在另一个示例中,参考框架102之一可以与现有的参考框架102链接。例如,全局坐标系202提供智能体116总是意识到的持久层次结构。智能体116之一,可以在如GPS坐标所示的全局坐标系202中定义的空间周围动作时,意识到某些兴趣点106。智能体当智能体116之一访问与参考框架102的另一个相关联的系统对象126的图1的角色122时,它可以同时进入参考框架102的那一个,例如建筑物坐标系。
参考框架102之一可以宣布本身,例如通过使用信标来以信号告知真实世界中的智能体116之一的接近度。例如,在参考框架102之一是飞机之处时,整个本地系统可以一起移动,并且飞机的参考框架102中的物品110可以作为本地框架的一部分本地控制。与飞机相关联的系统对象126和兴趣点106可以在真实世界中接近飞机时被发现。兴趣点106,例如飞机上的座椅,仅当智能体116和与飞机相关联的参考框架102进行交互时,例如当使用航班预定系统时可见。
参考框架102也可以通过查询1408发现。增强现实系统100可以支持查询以在系统内搜索系统对象126。查询1408是寻找与查询术语1410匹配的系统对象126的搜索操作。查询术语1410是要查找的搜索词或对象的列表。查询结果1412在执行查询1408后返回。查询结果1412是与查询术语1410匹配或相关联的系统对象126的列表或集。
使用书的例子,智能体116之一可以在参考框架102之一(例如书店)中进行查询1408,并检索书集。每本书可以使用书坐标系以参考框架102之一表示。因此,智能体116之一可以与书中的兴趣点106交互,例如在其中一页上留下附加在段落上的注释。
已经发现,实现具有多种参考框架102的分层方法增加了增强现实系统100的功能。通过添加注释到书的兴趣点106,当一些智能体11在参考框架102之一时,图1的可见性134可以被控制以将对注释的访问仅限制于这些智能体116的。提供本地化范围的方法可以减少数据流量、简化用户界面、提高整体用户体验。
当创建了任意一个系统对象126时,该系统对象必须与参考框架102的至少之一相关联。每个系统对象126,例如兴趣点106之一或物品110之一,可以具有持久性范围1404,例如一个生存时间参数。系统对象126之一的持久性范围1404可以控制在增强现实系统100内存在的时间长度。
在静态环境下,物品110可以在特定的参考框架102之一中的兴趣点106之一。然而,如果物品110之一在运动,则这样的一个与兴趣点106之一相关联的物品110就像一只剑在增强现实游戏中摇摆,然后增强现实系统100可以定义涵盖三维体积的兴趣点106之一。物品110可以显示在特定的兴趣点106之一的体积内的任何地方。关于这类物品110之一在什么地方的确切信息可以由游戏服务器或其他应用程序专用系统提供。这可以允许应用程序专用系统处理复杂的本地交互,从而转移增强现实系统100的处理负担。当特定的物品110之一变得固定时,增强现实系统100可以将其与静止的兴趣点106之一相关联。或者,智能体116之一可以被指定为参考框架102之一,与该参考框架102之一相关联的物品110可以由智能体116的另外一个跟踪。
在说明性示例中,增强现实系统100可以提供参考框架102之一来代表整个宇宙。由于大多数智能体116不需要访问用于表示地球的全局坐标系202以外的信息,因此对天文现象不感兴趣的智能体116将永远不会进入。
增强现实系统100可以包含一些物品110。每一个物品110可以具有相关联的内容,并且可以链接到兴趣点106的一个或多个。每一个兴趣点106可以位于参考框架102之一并具有一些相关联的信息。每一个参考框架102包含详细说明智能体116如何使用和访问兴趣点106中的相关联的兴趣点的框架几何结构104。框架几何结构104也可以帮助确定兴趣点106的可见性134。如果兴趣点106之一对于智能体116之一可见,则该智能体116可以与与其关联的物品110交互。
增强现实系统100可以跟踪智能体116,包含知道当前位置144、当前参考框架102、图12的令牌集1202、访问权限120、和其他属性、参数和方法。增强现实系统100可以提供定位兴趣点106并操纵与每一个兴趣点106相关联的物品110所需的信息。
已经发现基于持久性136和持久性范围1404显示系统对象126可以通过降低系统消耗来提高性能。如果系统对象126在当前时间154处于活动状态就将持久性136标记至每一个系统对象126,这能简化系统对象126的检测。
现在参考图15,其中示出了多级映射1502的示例。多级映射1502显示图1的参考框架102之一的层次结构。
在高的抽象层次上,图1的增强现实系统100可以代表散布在表面上的任意大量的图1的系统对象126,每个在一定范围内可见。这可以使用图2的全局坐标系202,并且使用分隔不同等级的细节的多级映射1502代表。这与GoogleTM、AmazonTM、和其他映射系统代表大面积的方式类似。多级映射1502在各种等级的比例下显示相同的地形。每个等级基于在该等级可见的内容,或地图制作者认为相关的内容提供一些细节,更多的细节呈现在更高的缩放等级。
增强现实系统100可以使用相似技术来代表在不同的粒度等级的参考框架102。每个等级包含一定数量的图1的兴趣点106,但是每个兴趣点106之一具有与其相关联的图13的可见性范围1302。地图的等级可以与其包含的兴趣点106的可见性范围1302成正比。这可以定义在一定等级的分辨率下可见的系统对象126集。
例如,在一个缩小到查看整个美利坚合众国的场景中,五角大楼可能会被视为一个地标,但是随着用户放大到美国西部而消失。然而,针对军队客户使用增强现实系统100,重要的是一直知道五角大楼在哪里。在一等级的外形表明对在所显示的区域内的用户可见的兴趣点106,因此,用于显示的兴趣点106集可以累计下降。
当导航到多级映射1502中的较低等级时,细节的程度可以下降到图1的智能体116之一物理接近兴趣点106之一的点,并且由于测量用户的物理位置的限制,其他细节不能被解决。在某些点,连续的位置细化分解并且超过GPS传感器的粒度,并且GPS信号的恶化,所以增强现实系统100中的系统对象126的精确映射可能不再正确。
例如,虚拟对象可以与位于桌子的角落的兴趣点106之一相关联。如果桌子被移动,并且系统的分辨率超过了GPS分辨率,则虚拟对象现在可能看起来在空间中浮动。因此,系统需要能够结合多种算法的结果。增强现实系统100可以使用各种场景分析技术,并根据需要并入通用功能,以识别和管理场景信息。
在这种细节的程度,增强现实系统100可以利用参考框架102的另一个,例如房间坐标系,并使用位置、方向、和放置的附加语义的物理几何而不是特定的GPS坐标来标识附加到桌面的代表的兴趣点106之一。附加信息可以包含计算机视觉信息、SLAM(simultaneous localization and mapping:同步本地化和映射)、信标数据、物理传感器数据、标记数据点、物理映射数据,或类似信息。该附加信息可能非常重要。例如,给了两个兴趣点106,这两个兴趣点在商场相邻的两个商店,放在墙上。人A在商店l中,人B在商店2中,每一个都看着墙。每个人应该只是感觉到兴趣点106之一而不是在其他商店的另一个。
根据坐标,兴趣点106可能距离彼此只有几英寸,因此难以在物理上区分。然而,给出了商场建筑图,增强现实系统100使用用于参考框架102之一的建筑物坐标系,将允许兴趣点106被区分。另外,增强现实系统100“知道”用户在具有兴趣点106之间的墙的商店中,可以确定每一个兴趣点106的图1的可见性134并且适当显示兴趣点106。
在GPS信息不可用或不可靠时,可以使用不同的参考框架102。例如,使用图3的建筑物坐标系302可以允许关于智能体116之一的环境的视觉信息被用来智能体确定系统对象126之一的更细粒度的位置。如果图1的物品110之一位于房间角落的虚拟桌子之下,则可以通过知道该桌子的GPS位置来简单地确定该物品的位置,并且知道无论该位置在哪里,消息都在其下。消息的确切位置可以相对于桌子的物理结构来确定,因为该物品与桌子相关联。
在物品110的图1的持久性136方面,如果系统对象126之一可以位于代表参考框架102之一中的系统对象126的适当的数据结构中,那么系统对象126之一可以存在。然而,由于系统对象126可以随时进入和离开参考框架102之一,所以增强现实系统100必须保持跟踪智能体116所在的位置,以便它们可以接收对系统对象126的状态和位置的相关变化的更新。
增强现实系统100可以以各种方式实施。此外,在增强现实系统100中的某些操作可以被优化以减少整体系统的计算负荷。例如,操作之一可以包含针对与兴趣点106之一相关联的一些图1的角色122集寻找所有系统对象126。
此外,优化的操作的另一个可以将传送到不同位置或不同的参考框架102的系统对象126的必要数据打包。由于数据量可以任意大,所以将所有数据保持在活动存储器中可能是不切实际的。优化可以通过减少数据量来最小化磁盘访问次数。减少数据也可以最小化发送系统对象126数据到智能体116之一的延迟。例如,包装系统对象126可以包含数据压缩以减少总体数据大小。
其他优化可以包含添加和移动系统对象126,并且查找所有在定义的区域中的智能体116,并将更新广播至智能体116组。例如当系统对象是新的、被移动和被移除时,广播更新可以包含对系统对象126的更改。优化可以基于通过每一个参考框架102使用的坐标系实施。
虽然增强现实系统100似乎可以提供单一的、无缝连续的对象,层次和参考框架102,但其可以以分散的方式实现。一些更复杂的参考框架102可以通过本地系统或应用程序专用系统管理,以减少增强现实系统100上的处理负担。这可以包含参考框架102例如飞机、商店、商场、建筑物、游戏机构、图书馆,或概念上嵌入在参考框架102中的较大参考框架中的其他复杂系统,较大参考框架为例如使用的全局坐标系202的参考框架。这些系统可能需要大量的处理能力进行交互。例如,当智能体116之一进入商店时,用于商店的特定的参考框架102可以通过本地服务器管理。这可以在处理快速、实时变化时提高系统的性能,例如在游戏的动作密集部分期间。
现在参考图16,其中示出了图1的参考框架102的图2的全局坐标系202的示例。全局坐标系202可以用于在参考框架102之一中的导航。
在全局坐标系202中,世界可以分为段1602。段1602的尺寸经设置以使段1602成为是可管理的段。例如,世界可以按经度和纬度分为段1602。在另一个例子中,世界可以使用二叉树结构分成段1602。
因此,需要快速地检查可能适用于它们的图1的角色122的段1602。快速的方法是将每个区域与布鲁姆过滤器(Bloom Filter)1604相关联。布鲁姆过滤器1604是确定元素是否是集成员的测试。
例如,每一个角色122可以被分配一个唯一的整数然后散列到一些值的集合,代表要检查的位。当每一个角色122被创建时这可以完成,所以散列集合只需要计算一次。类似的,每一个用户可以具有通过角色122散列集合的每个的OR-ing代表的签名。这给出了需要在布鲁姆过滤器1604中设置的位的列表,每一个具有基于那个位的角色122的列表。布鲁姆过滤器1604可以通过对每一个图1的智能体116检查布鲁姆过滤器1604移除未设置相关联的位的任何角色122,然后看哪个角色122被留下,来确定在段1602之一中是否存在任何相关的内容。基于布鲁姆过滤器1604的工作方式,每个段1602有非常高的概率具有具备保留角色122的图1的系统对象126的一些。
在另一个替代示例中,每一个图10的访问令牌1034中可以被分配唯一的整数。每一个角色122可以通过其访问令牌1034的位的联合(OR操作)代表,并且每一个智能体116类似地具有与其相关联的角色122的位的联合。
每个操作可以具有另外的访问令牌1034,其可以通过唯一的整数代表,然后散列到一些值,并被计算一次。每一个角色122可以包含访问令牌1034集,所以它具有来自它的所有访问令牌1034的位的联合的位集。最后,每一个智能体116可以具有角色122集,其也是由与之相关联的角色122的位的联合代表。
在状态检查时间,可以检查这些位的一些集。由于每个位与至少一个令牌相关联,所以任何未设置的位都意味着至少一个访问令牌1034被消除。如果段中没有相关内容则处理减少,因为每个令牌只需要检查一个位。
代表访问令牌1034的位可以放入使用先进先出(FIFO:First-In First-Out)队列来提高效率的数组中。来自每个数组的第一位可以进入队列。增强现实系统100可以反复出列一位并检查该位。如果该位存在,则从在队列中的访问令牌1034之一放置下一位。如果位不存在,则访问令牌1034之一从另外的考虑中被消除。如果找到过滤器中至少一个数组的所有位,则系统可以检查内容。
在说明性示例中,完整的地球系统可以具有约510万亿平方米的表面积。在每一个参考框架102上使用布鲁姆过滤器1604操作是合理的,尤其是当大多数地方几乎没有图1的兴趣点106。但是即使将表面打碎成只有10亿个段1602也意味着一个段从地球表面得到49级或二进制数量级的平方米。如果我们只考虑10平方米的面积,如果段1602被构造成分段树1606,则只需要48级来唯一地标识100万亿个段1602。
每级可以相对应于针对系统对象126的图1的可见性134。在顶层级,系统对象126之一是只有在10米内才可见,是10平方米的等级。大多数系统对象126应该集中在较低级,具有只有几米或几公里的可见性,只有少数系统对象应该有超过几米或几公里的可见性。此外,兴趣点106将通常高度集中在有人居住的地区。据估计,地球人口的95%集中在表面区域的10%,而城市地区只占3%。即使这些也包含了几乎不具有兴趣点106,可能会聚集在少数地区的大面积。
仅需要创建占用段来组织段1602的一种方式是使用例如地理散列的技术来标识它们,其中散列的位来自连续添加的经度和纬度位,因此较长的值比较短的值更准确。实际上,第一位指定东半球和西半球,其次指定北半球和南半球等。每一位都增加精度。一般来说,因此,彼此靠近的位置将散列至具有公共前缀的字符串。
要做到这一点,可以将不同大小的段1602组织在分段树1606中,其中分段树1606的节点1608具有地址的一些子串。通过分段树1606从根1610到叶1612的路径包含整个密钥,但是每个内部节点1608可以包含从其父节点到实际包含某物的区域的子串。
如果被跟踪的一切都在彼此之间的几米之内,则只有一个节点1608具有整个密钥。例如,如果每个人都在纽约或莫斯科,将有根节点,左半球和右半球具有长子串的节点1608,然后参考框架102局部分散靠近叶1612的一组节点1608。然而,如果跟踪的系统对象126均匀地分布在世界周围,则每一个节点1608将仅具有散列的一位,并且将会有整棵树。每个段需要给出上一次更新时间的“暗语”。有人可以提及子树中是否发生了变化,或仅段1602之一发生了变化。我们更喜欢后者,因为写入是昂贵的,尤其是写入意味着数据结构的大部分的同步。
这样,分段树1606的大小与地球上跟踪的系统对象126的分散成正比。尤其是,叶将与该分散紧密匹配,并且它们由分段树1606中的节点1608的至少一半组成。由于几乎没有兴趣点106,所以没有必要生成一直到叶的分段树1606。如果有看另一个放大等级的固定成本,则有一些数量的兴趣点106,在这些兴趣点以较高的放大倍率存储它们的成本较低,并且作一些过滤以替代打破升级,这样每一个兴趣点106都在正确的范围内。
分段树1606可以用于插入系统对象126和识别智能体116中的受影响的那些。分段树1606的尺寸基于节点1608的数量,并且节点1608的数量反映了处理节点1608之一的内容所消耗的时间。例如,如果具有分段树1606,其中插入了兴趣点106之一,然后进入系统的智能体116将遍历分段树1606,以定位需要的兴趣点106之一。在任何节点1608之一处可能需要进行一些处理。这将需要一定的时间。当处理其内容的时间高于某个阈值时,节点1608之一可以被分割,例如确保200毫秒以下的服务等级协议(SLA:service level agreement)。
属于段1602之一的每一个系统对象126可以被配置为使其在磁盘上的数据能够在少量的磁盘访问中读取。例如,系统例如HBase可以存储段的所有数据以便将其分组在一起。一旦读取了所有数据,就很容易过滤以只保留智能体116所需的数据。遍历分段树1606可以并行完成,分叉任务要查看任一段1602的所有子段。
然而,需要考虑在分段树1606的任何等级,尤其是靠近根1610附近的拥塞的可能性。许多系统对象126很可能会有一定程度的粒度(全球、全国、区域、大都市)。这将需要明显更多的用于布鲁姆过滤器1604的位和用于多个块中的等级的存储数据以避免一遍又一遍地读取太多的数据。
在说明性示例中,使用一万亿系统对象126、十亿个角色122来检查系统,并且硬件支持一次在对智能体116的任一个可见的一千个系统对象126数量级的处理阈值。这将需要大约十亿的段1602。为了使错误率为1%,每个都需要10K位,或1250字节,或10太字节。如果存在用于识别的每个兴趣点106和任何初始数据(或约lMB/段)的约1千字节的存储空间,则系统将需要约1拍字节的存储空间来存储整个系统。如果对象数据以最佳方式存储,只对段1602中的每一个进行几次磁盘访问,那么对于传送到客户端的每兆字节的数据,可以实现200毫秒以下的估计响应时间。
使用全局坐标系202的参考框架102之一需要两种树。第一种是兴趣点106的分段树1606,其中每一个兴趣点106大致处于与其可见性范围相对应的等级。每一个节点1608与布鲁姆过滤器1604相关联以标识兴趣点106的可见性角色122。智能体116可以在与兴趣点106之一相关的一些GPS坐标系下进入系统。
分段树1606可以被遍历以确定至智能体116的所有兴趣点106。这可以包含具有适当可见性的角色122之一和范围内的那些。如果智能体116之一移动并且不再在相同段中,则需要再次从段1602中的旧的和新的段的共同的父级到兴趣点106的新的段遍历分段树1606。以前的兴趣点106集可以被舍弃。这通常是少量的段1602,但是在任何给定的分割方案中都可能存在病态例子。
同样,基于智能体116之一在段1602之一的何处,可能需要遍历多个路径以确保给定距离内的所有内容都被覆盖。或者,兴趣点106可以被放置在与其范围相交的所有段1602中,但是这可能需要管理多个插入。
鉴于系统对象126的可能不均匀的分散,可以在较大的等级上建立不均匀的分割,例如确保人口稠密的地区在系统下都有一个共同的根,并把大的无人居住区域放在一起。这可以最小化需要遍历的路径数,但会有自己的消耗。遍历分段树1606并且从磁盘读取数据可以被并行执行,将结果与参考框架102打包在一起,传输给智能体116。
现在参考图17,其中示出了可见性树1702的示例。可见性树1702可以映射针对在图16的段1602中的图1的智能体116的图1的可见性134。可见性树1702是使用图2的全局坐标系202的图1的参考框架102所需的第二种树。
针对每一个图1的角色122的可见性树1702可以控制可见性134。可见性树1702的节点1608只具有该物理区域内的智能体116的可见性134及其最近的已知位置的列表。当图1的系统对象126之一更新或创建时,则必须在范围内通知所有用户。必须遍历可见性树1702以找到可能包含用户的段1602,然后检查距离智能体116的实际距离。对节点1608之一的大小的约束是进行必要比较所消耗的时间。即使具有控制可见性134的角色122的智能体116被广泛分散,如果只有其中一些节点1608,则划分节点1608的根节点是没有意义的。另外,针对可见性134的可见性树1702可能被平行遍历。
为了确保更新不会丢失,系统对象126之一可以在遍历描述针对可见性134的角色122的分段树1702之前首先将它自己插入描述图1的兴趣点106的可见性树1702。然后智能体116总是在遍历具有兴趣点106的分段树1702之前更新具有角色122的可见性树1702。这样,即使在读取最新版本之后,智能体116之一也可能被告知更新系统对象126之一,但是在更新之前不会有机会通过具有兴趣点106的分段树1702,然后在智能体116被通知并且错过更新之后更新具有角色122的可见性树1702。
在另一个例子中,假设系统对象126之一被更新,并且智能体116需要被通知。代替试图通知增强现实系统100中的所有智能体116,应当仅通知具有针对系统对象126之一的可见性134的智能体116。可见性134是访问权限120之一,所以系统可以将通知仅限于具有访问权限120之一的智能体116,并且仅限于足够靠近以观看对象的智能体116。
在只有少量智能体116具有系统对象126之一的可见性134的情况下,系统可以快速检查从智能体116到系统对象126的距离,并且仅通知足够近以查看系统对象126的智能体116。在数千或数百万的系统对象126的情况下,那么该系统可以随着具有访问权限120的智能体116进入和离开系统使用增长和收缩的树结构的。使用树结构可以减少为针对可见性134的访问权限120进行的搜索所需的计算能力。
当用户很少时,智能体116可以被快速检查。随着数字的增加,树的根可以被分解成子,然后在它们变得更拥挤的时候连续地打破子,以至打破它们会更加昂贵,然后检查它们。
所有智能体116可以在树的叶,但是寻找智能体116的系统对象126之一进入树的顶部或本地等效物,并且并行搜索相邻节点以发现附近的智能体116。
另一种方法是对两个目的使用一颗树1702。可见性树1702可以代表角色122和兴趣点106。然而这更复杂,因为两个可见性树1702围绕不同的原则组织。也可以增加对于单个分享的结构的更新的数量。段1602将具有相关的角色122集。现在,智能体116只存在于系统的根,所以智能体116的存在可能需要分裂到可见性树1702。
同时,由于当发生更新时,有必要找到所有用户,因此有必要在每个子树中传播具有角色122的可见性树1702,否则可以不需要查看许多段1602。这大大增加了用户移动时所需的更新次数。
具有针对角色122的可见性树1702意味着推送架构,其中用户需要在发生更改时立即更新。当有实时交互时,这是有道理的。更“像web”的方法是拉式架构,其中每个智能体116周期性地请求来自系统的更新。每一个智能体116的当前状态在轮询期间内是正确的。这在许多情况下是足够的。
当智能体116轮询时,分段树1606被重新遍历并且段1602自上次轮询检查以来被更新。系统可以将两种架构组合,其中大多数角色122为“拉”,并且角色122的高价值的一个是“推”。例如,向智能体116发出的通知可以是“推”。
图16方法的布鲁姆过滤器1604的替代方案可以是使用散列表。然而,这将需要至少64位的标识符,由于1T>232以及针对散列的额外空间,所以存储要求针对每个段1602在200K左右的范围。
所有这一切的替代方案是运行几个独立的应用程序,每个应用程序都关心自己的系统对象126集。这样做的结果就是资源密集程度更高,用户可能更慢。与其将一个消息发送到聚合的服务,智能体116需要为每个正在运行的应用程序持续发送消息,每个应用程序用自己的数据作为响应。
进入位置后,几个消息会出来并返回一些。不能重用关于位置的几何数据以最小化客户端上的识别消耗。不同的应用程序可能会使用不同的识别库,增加客户端的消耗。此外,除了通过使用具有针对促进所有应用程序与所有智能体116之间的通信的相关消耗的昂贵的全球通讯子系统,没有简单的方法使系统对象126不在小组运行应用程序中开始与智能体116进行通信。该方法可以提供所有元素之间的连接和通信,但是以相当大的成本。
现在参考图18,其中示出了参考框架102的建筑物坐标系302的示例。建筑物坐标系302可以用于在图1的参考框架102之一内导航。
建筑物可以是参考框架102之一,通过子空间的图形代表元素为例如楼层、房间、门、窗和走廊,可以使用建筑物坐标系302唯一地标识建筑中的每个元素。
例如,建筑物坐标系302可以具有具备第一房间、第二房间、和第三房间的第一层。第一房间可以具有第一窗、第二窗,和第一门。第二房间可以具有第一门。第三房间可以具有第一窗和第一门。第二层可以具有第一房间和第二房间。第一房间可以具有第一窗、第一门和第二门。第二房间可以具有第一窗和第一门
建筑物可以从全局坐标系或GPS空间的一些数量的点进入。例如,第一层可以有第一门,其可以为建筑物的图3的入口点308。
在任何时间点,图1的智能体116之一在针对建筑物的参考框架102之一中。参考框架102之一的建筑物的基础几何可以理解图形并具有附加的信息。例如,附加信息可以包含GPS坐标信息、靠近信标或Wi-Fi接入点,和视觉信息,例如处理图像,或SLAM点云。此外,传感器在真实世界可以通过图1的框架几何结构104跟踪智能体116运动。这些数据一起可以建立智能体116在建筑物的参考框架102中的位置,并确定智能体116的方向。
类似的,在空间中的任何兴趣点106可以通过将其放在房间中而放置在参考框架102中,然后使用坐标、传感器数据、或包括SLAM、标记或其他已处理的视觉数据的组合将其锁定在适当位置。任何使用建筑物坐标系302的任何参考框架102可以具有多层次的结构,这样图1的兴趣点106的一些可以在多个房间,或在给定的楼层可见。
每一个参考框架102可以包含包括参考框架102之一的完整数据的结构。该结构可以包含与各种节点相关的所有兴趣点106的数据。
在另一说明性示例中,一旦智能体116之一进入参考框架102之一,智能体116可以检索框架几何结构104信息并且接收其他信息以能够在参考框架102中的当前参考框架中移动。信息的种类和数量取决于具体实现。
智能体116可以被一次发送几何的完整描述,或者可以以碎片的形式发送数据。首先,它将获得进入节点1608之一及其直接连接性的信息,然后当它从图16的节点1608之一移动到图形中的节点1608中的另一个时被发送另外信息。这将包含足够信息来理解其在空间中的位置,以及立即可见的兴趣点106。
当智能体116围绕参考框架102中的当前一个移动时,附加信息将被传递给它。如果存在针对图1的系统对象126之一的更新,则所有受影响的智能体116可以接收通知。基于智能体116中的多少个在参考框架102中的当前一个的相同部分找到自身,图1的增强现实系统100可以只需在受影响的节点上查找所有智能体116,或使用图1的角色122之一到节点1608映射之一和然后将通知发送到每一个智能体116。
如上所述,每一个节点1608,例如在建筑物中的房间的代表独立运作,所以当前房间中只有系统对象126在任何时候都可以看到。或者,参考框架102的另一个可以实现更先进的几何结构,其将对物理几何学有更完整的理解,因此,如果它们实际上处于智能体116的视线中,那么更多的兴趣点106可以是可见的,即使在另一个房间里,只有通过窗口才能看到。
现在参考图19,其中示出了彼此协作的智能体116的示例性图。智能体116可以相互配合,在图1的增强现实系统100内执行动作。
智能体116可以彼此交互,因为智能体116也可以是图1的兴趣点106之一。增强现实系统100可以在移动的图1的系统对象126组之间协调行为,例如智能体116。例如,考虑共享乘车应用程序例如UberTM或LyftTM。每一辆出租车可以是兴趣点106并且可以在使用全局坐标系202的参考框架102之一中的图1的物品110相关联。当有人想要出租车时,智能体116之一可以被分配图1的角色122之一,让其感知出租车,并且也成为出租车可以看到的物品110之一。智能体116现在知道其附近的所有出租车,而出租车知道所有寻找车的智能体116。
在另一个例子中,智能体116可以使用物品110协商交易的价格。针对乘客的智能体116之一可以用希望的目的地和提供的价格自我更新。每一个代表出租车的兴趣点106可以创建物品110的另一个,例如乘车出价,以提出自己的旅行价格。乘客可以接受希望的乘车出价,并以最优惠的价格与出租车锁定交易。在相关的例子中,多名乘客的智能体116可以向其他乘客提供出租车请求并协商共享乘车。
现在参考图20,其中示出了智能体数据结构2002的示例。图20的智能体数据结构2002可以代表图1的增强现实系统100中的智能体116。
为了代表在增强现实系统110内的智能体116,代表智能体116的数据结构可以表示与智能体附近的兴趣点106,以及与智能体116相关联的图1的角色122的关系。虽然数据结构针对智能体116的单一一个而显示,应当理解的是,多个智能体116可以使用大数据结构,例如数组、列表、数据存储或其他类似的数据结构代表。
智能体116可以与兴趣点106中的一个或多个相关联。与兴趣点106之一相关联允许智能体116与每一个兴趣点106和与兴趣点106相关联的图1的系统对象126交互。
智能体116也可以与角色122中的一个或多个相关联。与角色122之一相关联允许智能体116具有图1的访问权限120以及与角色122相关联的令牌集1202。图12的访问权限120和令牌集1202可以控制智能体116可以和与兴趣点106相关联的系统对象126交互的方式。
智能体116也可以与物品110的一个或多个相关联。与物品110之一相关联允许智能体116具有图1的访问权限120以及与物品110相关联的令牌集1202。图12的访问权限120和令牌集1202可以控制智能体116可以和与兴趣点106相关联的系统对象126交互的方式。物品110可以与本地执行的脚本相关联。本地行为和活动允许通过增强现实系统100的智能分配来更有效地利用可用的计算资源。
在说明性示例中,兴趣点106之一可以定位于具有物品110之一的位置,其可以跟踪通过该位置的客户数量。由于物品110可以包含脚本或其他可以在本地执行的代码对象,所以物品110可以提供功能例如当另一个系统对象126进入检测半径内时增加计数。物品110可以以与智能体116之一相似的方式起作用,其可能意识到系统对象126在增强现实系统100内移动。针对物品110或智能体116执行该功能的脚本或其他代码对象可以根据需要驻留在增强现实系统100或外部系统中。
在另一说明性示例中,智能体116可以与角色122之一相关联,角色122控制与兴趣点106之一相关联的图1的消息114的图1的可见性134。当智能体116之一在图1的参考框架102之一中并且靠近兴趣点106中的特定兴趣点时,则智能体116可以访问消息114中的特定消息,其中访问权限120授予到角色122的特定角色的可见性134。
现在参考图21,其中示出了查询数据结构2102的示例。查询数据结构2102可以实施查询1408的执行。
图1的增强现实系统100可以支持查询以在系统内搜索系统对象126。查询是当前Web上交互的组成部分,也可以成为增强世界的重要组成部分。在增强世界中的查询比在在线世界中更多受到查询的位置和谁进行查询的影响。
例如,增强现实系统100可以使用查询数据结构2102执行查询1408。查询1408搜索可以返回与查询术语1410相关的系统对象126的列表的操作。查询术语1410可以包含与系统对象126相关联的单词、文本、对象和图像来使其可搜索,查询结果1412是匹配查询术语1410的系统对象126的列表。
增强现实系统100可以基于图1的参考框架120的特定集和基于图1的访问权限120(例如图1的可见性134)执行查询1408。例如,图1的智能体116之一可以使用查询术语1410执行查询1408,查询术语1410具有书店参考框架,针对商店的小说部分的所有书设置的可见性,以及文本搜索字符串“标题:夏洛克福尔摩斯和作者:柯南道尔”。增强现实系统100可以返回和与搜索条件匹配的书相关联的系统对象126集。
返回的系统对象126集还可以与参考框架102之一中的位置,和基于智能体116的位置的一些可视性权限相关联,但是使用参考框架102之一和可见性权限来提升相应的结果,确保系统对象126中的附近的可访问的系统对象将在返回的物品的顶部附近排序。在可见性权限与查找对象相关联的情况下,必须通过请求者的权限进行过滤。此外,位置信息可以用于通过距离过滤结果,或将其作为搜索结果的一部分呈现给智能体116。
搜索指出参考框架102的另一种类型,一种只能在另一种内可访问的,但其不是参考框架102中的外围参考框架的一部分的参考框架。例如,如果智能体116之一在书店中并在书籍封面上进行查询,则在当前参考框架102之一中的智能体116之一可以帮助将搜索缩小到书籍封面。用于该搜索的智能体116之一可以返回具有可以仅从书店内部感知到的书店员工注释的参考框架102之一,。
现在参考图22,其中示出了所有权数据结构2204的示例。所有权数据结构2204可以描述所有权2202,其关于针对在图1的增强现实系统100中的系统对象126中的一个或多个的所有者标识符2206。
增强现实系统100可以通过将所有者标识符2206与系统对象126相关联指定资产的所有权2202,资产为例如系统对象126。所有者标识符2206是系统级标识符,用于显示哪个实体控制对系统对象126之一的基本访问。例如,所有者标识符2206可以包含图1的智能体116、用户标识、外部系统标识符,或其组合。
所有权2202需要控制访问和支持任何人针对增强现实系统100的操作支付的计费。计费和所有权与访问权限120的位置密切相关。例如,所有权2202可以用于确定谁可以授权访问图12的令牌集1202之一中的系统对象126之一。如果智能体116中的另一个访问系统对象126之一,则增强现实系统100可以记录使用情况并向智能体116之一发送计费消息。
所有权2202可以以各种方式实施。例如,所有权2202可以与访问权限120和角色122相关联。所有权2202可以解决图1的可见性134,以及访问权限120,例如在图1的参考框架102中的现有一个中创建参考框架102中的新的一个,或者将图1的兴趣点106或图1的物品110添加进系统。与访问控制的其他方面一样,这些可以由系统本身支持或卸载给所有者。
在说明性示例中,智能体116之一可以为进入代表游戏的场所的建筑物的参考框架102之一玩游戏而计费。在游戏中赋予对物品110的访问也可以被计费。当用户发现并且在游戏中拿起“权力之剑”时允许计费。
现在参考图23,其中示出了智能体动作的示例。智能体116可以在参考框架102、兴趣点106、物品110和系统对象126中的其他系统对象上操作。
智能体116可以在系统中执行各种操作。智能体之一可以关于坐标系的一个或多个声明其位置。智能体116之一可以进入或离开参考框架102之一。智能体116之一可以创建系统对象126之一,例如兴趣点106之一、参考框架102之一、物品110之一、或其组合。
智能体116之一可以执行具有图1的查询术语1410的查询1408。智能体116之一可以复制系统中的系统对象126的一个或多个。这允许系统对象126在某些位置的个性化。例如,每个人看到相同的初始版本,但是每个人与它们自己的特定版本进行交互,而没有必要重叠。重复项可能具有持久性,也可能没有。如果没有,则它们可以完全驻留在本地并且不与服务器交互。
智能体116之一可以更新系统对象126。这可以包含操作例如更新、删除、编辑、移动、重根、添加到重叠的坐标系或其组合。
智能体116之一可以暂时占有物品110之一。虽然图1的增强现实系统100可以作为增强现实服务器,但不期望与系统对象126的连续服务实时交互。这些操作应主要通过所有者和智能体116处理。智能体116可以获取兴趣点106的一些的暂时所有权,并且在系统内管理它们一段时间。这可能发生在服务器停止传送关于兴趣点106之一的信息时。
这也可能发生在当服务器遇到占有兴趣点106之一的问题时。智能体116或兴趣点106的所有者可以针对在哪获取关于兴趣点106的另外信息,以及在适当的坐标系中的哪可能找到兴趣点106提供URL或其他信息。
例如,在增强现实游戏中,兴趣点106可能是桌上的魔术护身符。一旦某人拿起它,则他占有该护身符。任何可能感觉到护身符的人都需要与增强现实系统针对下一步信息进行交流。服务器只会传达它可能在该区域。当智能体116将对象返回到其原始位置时,服务器可以重新占有并指示一致位置。或者,智能体116可能将对象转移到其本地框架并将其放在目录中。
智能体116之一可以添加或移除角色122之一。这可以要求具有适当的身份来创建角色122并将其附加到系统对象126之一。
在说明性示例中,增强现实系统100可以提供潜在的“定位服务”功能作为正常操作的一部分。增强现实系统100的显示部分是需要定位服务的一种应用程序的示例。定位服务可以根据需要提供系统对象126的位置。
智能体116可以与提供对系统对象126的访问的服务2302互操作。服务器2302可以是用于实现增强现实系统100的一部分的底层硬件系统。服务器2302可以作为全球范围内的并且适用范围广的系统对象126的存储库。服务器2302可以与应用程序无关,并与需要与系统对象126交互的任何内部和外部系统进行交互操作。例如,在任意应用中的系统对象126可以被认为具有可以通过服务器2302提供的位置。系统对象126可以根据框架几何结构104通过在参考框架102之一中的位置被索引并通过访问权限120集相关联。系统对象126可以存储在同一个存储库中,用于多种框架几何结构104。
搜索服务器2302可以关于不同类型的系统对象126而被优化。智能体116可以向针对对象的服务器2302发送请求。这可能是按需或周期性的。另外,服务器2302可以构成为自动定期为特定请求发送结果。该请求可以使用参数例如关键字和半径等指定在参考框架102中的一些位置集。该请求可以表示但不总是表示在参考框架102中的智能体116之一的当前物理位置。在纽约的人可以请求在洛杉矶的系统对象126在地图中显示结果。
服务2302可以返回具有相关内容的系统对象126的列表。该列表可以仅包含智能体116之一有权接收的数据。内容可以包含其提供智能体116可以如何使用内容的一些表示的附加信息。例如,一些内容可能包含如何精确定位兴趣点106之一的信息并还提供其他信息,以便当内容在观看单元118的视野中增强显示。其他内容可以包含针对汽车在靠近一个已知的速度陷阱时减速的Waze@通知。内容可以包含针对冰箱的修理记录、对针对苏打水机器的web服务API的访问、要激活的应用程序名称或其他来帮助使用内容的信息。
智能体116是系统对象126,所以可以是对称的关系。系统对象126可以回应智能体116的移动。
服务器2302可以根据需要支持开放式的用户例组并提供关于系统对象126的信息。该访问控制可以使服务器2302增长,因为不是所有的系统对象126都可以驻留在服务器2302的单个实例上。服务器2302的不同实例可以互操作和分享系统对象126。具有明确的访问控制意味着系统对象126可以支持可以通过共享对象建立在顶部如糅合的新服务的创建。
现在参考图24,其中示出了相关系统2402。增强现实系统100可以与相关系统2402交互以提供关于图1的一些系统对象126的行为和状态的信息。
增强现实系统100可以以集中或分布式配置实现。例如,增强现实系统100可以在云计算、集中式数据中心、便携式计算设备阵列、虚拟计算环境或其组合中实现。
增强现实系统100可以配置有各种内部和外部系统。增强现实系统100可以包含存储系统2412、处理器系统2414、通讯系统2416、场景捕捉系统2418、位置系统2420、和传感器系统2422。系统可以通过包含网络链路、光链路、无线链路、直接连接、总线连接、远程连接或其组合的逻辑数据连接来彼此连接。
存储系统2412可以存储用于增强现实系统100的数据和可执行代码。存储系统2412可以包含用于主动计算和大规模持久存储的存储单元。存储系统2412可以分布或本地化。存储系统2412可以支持用于负载平衡、本地访问速度、地理优先级或其组合的存储系统2412的单元之间的数据的迁移。例如,存储系统2412可以包含云存储器、硬盘存储器、固态存储单元、光存储单元、冗余存储单元、磁带存储单元或其组合。
处理器系统2414可以通过在一个或多个处理单元上执行代码(未图示)来实现增强现实系统100。该处理系统2414可以是分布或本地的。处理器系统2414可以包含云计算服务器、专用服务器、多处理器、计算元件阵列、智能电话、智能眼镜、平板电脑、笔记本电脑、台式电脑、其他观看设备或其组合。
通讯系统2416可以将增强现实系统100的系统内部和外部链接起来。通讯系统2416可以包含有线网络链路、无线网络链路、总线链路、直接连接、光学通讯链路、矩阵通讯链路或其组合。
场景捕捉系统2418是用于接收关于物理世界的信息和创建在增强现实系统100中使用的的基于数据的代表的设备。场景捕捉系统2418可以是本地或分布的。场景捕捉系统2418可以包含图像传感器、磁传感器、光学传感器、红外传感器、紫外线传感器、接近传感器、接触传感器或其组合。来自场景捕捉系统2418的信息可以被数字化并存储在存储系统2412中,以通过通讯系统2416发布到图1的智能体116,用于显示在图1的观看单元118上。来自场景捕捉系统2418的信息可以用于确定和存储系统对象126的图1的物理位置148。场景捕捉系统2418可以包含从内部和外部场景捕捉机构的场景捕捉信息的整合。
位置系统2420是用于建立和增强与场景捕捉系统2418和系统对象126相关联的位置信息的设备。位置系统2420可以包含无线位置系统、直接位置馈送系统、场景匹配系统、模式匹配系统、三维几何系统、相关系统、物理建模系统、匹配系统,或其组合。例如,位置系统2420可以包含用于基于在场景中检测到的系统对象126的表面特征来解析系统对象126的细粒度位置的系统。位置系统2420可以包含用于创建场景的3D模型以提取边缘和角位置的系统、全球定位系统、基于信标的位置系统、注册系统或其组合。
传感器系统2422是增强现实系统100的物理信息测量设备。传感器系统2422可以是分布或本地的。传感器系统2422可以包含压力传感器、温度传感器、磁场传感器、化学传感器、触摸传感器、音频传感器、嗅觉传感器、味觉传感器、放射传感器、机械传感器、光学传感器、事件计数器或其组合。来自传感器2422的信息可以作为增强的显示信息传达给智能体116,呈现给用户以增强增强现实系统100的体验。例如,来自仓库烟雾检测器的的化学传感器信息可以被传送到智能体116之一并自动显示为消息114,警告与图1的兴趣点106之一相关联的氯气味。
在说明性示例中,增强现实系统100可以执行传感器系统2422的连续监视,并使智能体116之一基于某些条件的检测而适当地反应。例如,传感器系统2422可以作为事件计数器检测进入事件设施房间的人数。如果人数超过预定阈值,例如最大占用率,则智能体116可以响应并表示警告或通过控制入场旋转门直接阻止另外进入。智能体116可以与其他外部控制系统和控制机构直接相互作用,以在真实世界中执行动作,例如控制旋转门、发出警报、启动阀门、更改照明或其他动作。
增强现实系统100可以连接至相关系统2402以访问在相关系统2402上的信息。例如,相关系统2402可以包含外部数据系统2404、游戏系统2406、电子商务系统2408、控制系统2409或类似的外部系统。
例如,当图1的智能体116之一进入在商场中的商店时,增强现实系统100可以连接至电子商务系统2408。电子商务系统2408可以提供实时定价和库存信息来支持买卖。
在另一个示例中,当智能体116之一访问游戏时,增强现实系统100可以连接至游戏系统2406。游戏系统2406可以提供对关于游戏的的信息的详细访问,包含艺术品、游戏规则、游戏交互、与游戏人物的通讯或类似的游戏信息。
在另一个示例中,增强现实系统100可以连接到外部数据系统2404以接收增强的显示信息2410。显示信息2410可以作为补充数据,以更好的清晰度、分辨率和细节呈现给系统对象126。外部数据系统2404可以包含图像单元,以在增强现实系统100中为系统对象提供更详细的图形。在增强现实之旅中,外部数据系统2404可以提供在博物馆中的艺术品的详细图像。
在另外的示例中,增强现实系统100可以连接到控制系统2409以对外部设备,例如控制机构执行动作。例如,控制系统2409可以作为音乐会场地的旋转门控制系统、建筑空调系统、仓库中的化学警报系统、农场配水系统或类似的用于控制物理世界中的设备的外部系统。控制机构可以是系统控制器、值控制器、内部设置、输入设备或其组合。增强现实系统100可以向控制系统2409接收和发送信息。
增强现实系统100可以由于现实的开放性而与游戏背景区别开来。虚拟现实系统和游戏在封闭世界里进行,其中一切都是软件执行系统所知的。在虚拟现实系统中,所有的几何结构都是已知的,并通过系统维护。所有系统对象126及其属性和物理通过系统所熟知。
虚拟现实系统元素例如表面被清楚地定义,并且当事物附着在表面上时系统知道。系统知道相关物理学是什么,而没有虚拟现实系统的明确知识就没有变化。由于系统的完整知识,虚拟现实系统中的可见性很容易计算。
然而,在增强现实系统100中,图1的框架几何结构104的知识可能限制于传感器和设备的处理能力。并不事先明确什么是墙,距离智能体116有多远,并且兴趣点106之一是否必然可见。
已经发现增强现实系统100的性能通过与真实世界中的图1的传感器138连接来改进,以定义图1的参考框架102之一中的系统对象126。在增强现实系统100中的运动直接连接到真实世界的运动和框架几何结构104。
其他问题是确定兴趣点106的哪一个足够接近一个智能体116以使智能体116注意图1的兴趣点106。处理限制表明,没有一个智能体116可以处理在增强现实系统100中的所有兴趣点106的列表。由于增强现实系统100可以有数十亿系统对象126,所以发送必要的数据来定位它们都是繁重的任务。当数百万兴趣点106可以随着时间的推移而各自变化时,性能问题也得到证明。因此智能体116需要被发送在实际看到它们之前可能遇到的兴趣点106限制集,以阻止不可接受的延迟或滞后。
增强现实系统100与游戏系统不同。在说明性的游戏示例中,本地的兴趣点106固定到游戏的直接几何结构,这是提前知道并通过游戏系统维护的。此外,游戏中的所有用户都处于已知位置,并移动到系统内的已知位置。另外,在虚拟现实游戏中,真实世界中的动作与游戏中的动作无关。
在增强现实系统100的示例中,智能体116可能不具有整个世界的框架几何结构104。当创建兴趣点106之一时,特定的空间或区域只会变得更有趣。关于新的区域的信息按需接收,不需要预定义或预缓存。
现有的增强现实工具包开始超越简单的基于标记的兴趣点106以考虑至少局部几何,并且正在执行3D技术例如SLAM。然而这些努力仍然局限于单个应用程序。在此描述的系统可以通过支持用于与浏览器实施正交的系统对象126的全局储存库来与这样的工具包一起工作。
现在参考图25,其中示出了增强现实系统2500的操作流程的示例。增强现实系统2500可以通过显示真实世界的图像来操作,该图像覆盖有图1的系统对象126的代表。
增强现实系统100可以以多种方式配置。例如,增强现实系统100可以包含位置模块2502、检测模块2504、可见性模块2506、动作模块2508,和显示模块2510。
位置模块2502可以确定与图1的智能体116之一相关联的图1的观看单元118的真实世界位置和方向。位置模块2502可以使用图1的位置传感器140和图1的方向传感器142,计算观看单元118的图1的当前位置144和图1的当前方向146。
智能体116之一可以被实现为在观看单元118执行或与观看单元118相关联的软件(未示出)。当前位置144和当前方向146可以一次性连续计算,并通过智能体116要求进行更新。
检测模块2504可以确定哪个系统对象126靠近智能体116。检测模块2504可以使当前位置144和当前方向146与系统对象126相关。例如,检测模块2504可以针对智能体116之一确定图1的参考框架102中的当前一个。然后检测模块2504可以确定系统对象126的存在,例如图1的兴趣点106、图1的物品110、图1的消息114或其组合,其在当前位置144的图1的检测阈值150内并且具有存在于图1的当前时间154的图1的持久性136。
在说明性示例中,检测模块2504可以确定智能体116的位置和方向,然后对智能体116进行操作。首先,检测模块2504可以定期将位置和方向信息发送到实现增强现实系统100的服务器,该服务器可以用有趣的对象和更新的可能的空列表回应,空列表可以被本地存储在信息存储库中。服务器可以检查系统对象126的持久性136和可见性134以确定智能体116可能遇到的系统对象126集。例如,可能会发送在房间中的所有系统对象126。缓存附近的系统对象126可以提高性能,尤其当用户在移动时。
其次,检测模块2504可以根据与系统对象126相关联的位置、方向、可见性134和持久性136检查本地存储库以确定在特定时刻显示什么。
可见性模块2506可以基于供观看单元118观看的系统对象126的当前位置144和当前方向146,确定图1中的哪个系统对象126具有由智能体116之一感知的图1的可见性134。可见性134可以基于与智能体116和系统对象126相关联的图1的角色122、令牌集1202,和访问权限120。例如,智能体116之一可以读取消息114,如果它们与访问权限120相关联以允许它们读取消息114。
动作模块2508可以在增强现实系统100中对系统对象126执行操作。动作模块2508可以确定智能体116是否可以基于角色122、图1的令牌集1202、和与智能体116和系统对象126相关联的访问权限120执行操作或修改系统对象126的对象状态152。例如,智能体116之一可以创建消息114如果它们具有访问权限120以允许创建消息114。在另一个示例中,智能体116之一可以检索代表“权力之剑”之一系统对象126,如果它们有用于玩游戏的的访问权限120。
显示模块2510可以显示来自增强现实系统100的信息作为真实世界的图像的覆盖。显示模块2510可以基于图1的当前位置144、当前方向146、对象位置128和图1的对象方向130控制观看单元118来在相对于真实世界的合适的位置和方向显示系统对象126。显示模块2510可以在一次或连续的基础上更新观看单元118。在显示模块2510完成后,控制流可以返回到位置模块2502。
已经发现在观看单元118中基于系统对象126的可见性134和持久性136来显示系统对象126增加了增强现实系统100的功能。在观看单元118中显示信息使用户能够与信息交互并操纵系统对象126。
现在参考图26,其中示出了本发明的另一实施例中的增强现实系统的操作方法2600的流程图。方法2600包含:在块2602中,检测当前位置;在块2604中,检测当前方向;在块2606中,检测具有当前位置的检测阈值内的对象位置的系统对象;在块2608中,检索与系统对象相关联的内容;在块2610中,基于当前时间和持久性范围计算系统对象的持久性;在块2612中,基于访问权限和对象位置来计算系统对象的可见性;以及在块2614中,基于持久性和可见性将系统对象的内容呈现到控制机构。
因此,已经发现本发明的增强现实系统针对增强现实系统提供重要的和在此为止的不可用的解决方案、性能和功能方面。所产生的方法、过程、装置、设备、产品和/或系统是直接的、成本有效的、不复杂的、高度通用的和有效的,可以通过适应已知技术令人惊奇地或不明显地实现,并且因此容易适合于有效和经济地制造增强现实系统,与传统制造方法或工艺和技术完全兼容。
本发明的其他重要方面是,它有价值地支持和服务于降低成本、简化制造和提高性能的历史趋势。本发明的这些和其他有价值的方面将技术的状态再次提高到至少新的等级。
虽然已经结合特定的最佳模式描述了本发明,但是应当理解,根据前述描述,许多替代、修改和变化对于本领域技术人员来说是显而易见的。因此,旨在包含落入所附权利要求的范围内的所有这样的替代、修改和变化。迄今为止在此列举的或在附图中示出的所有事项将在说明性和非限制性的意义上解释。
Claims (10)
1.一种用于操作增强现实系统的方法,包括:
配置智能体设备以使用位置传感器检测当前位置并且使用方向传感器检测当前方向,所述当前位置是当前真实世界位置;
检测第一参考框架和第二参考框架之间的入口点,所述入口点在所述当前位置的检测阈值内;
通过进入所述入口点从所述第一参考框架访问所述第二参考框架;
检测所述第二参考框架中的系统对象;
检索与所述系统对象相关联的内容;
基于小于持久性范围的当前时间计算所述系统对象的持久性;
针对具有与可见性访问权限相匹配的角色的所述智能体设备计算所述系统对象的可见性;以及
基于持久性和可见性将覆盖有与所述系统对象相关联的内容的真实世界图像呈现给所述智能体设备的观看单元。
2.根据权利要求1所述的方法,其中,
计算可见性包含基于与所述智能体设备相关联的角色计算可见性。
3.根据权利要求1所述的方法,其中,
计算可见性包含基于与所述智能体设备相关联的所述角色计算可见性,其中所述角色包含用于访问所述系统对象的令牌集和访问权限。
4.根据权利要求1所述的方法,还包括:
基于查询搜索术语和所述当前位置生成用于查询操作的查询结果;以及
检测所述查询结果内的所述第二参考框架的所述入口点。
5.根据权利要求1所述的方法,其中,
呈现所述系统对象的内容包含基于来自外部数据系统的显示信息显示所述系统对象。
6.一种增强现实系统,包括:
位置传感器,其被配置成计算当前位置,所述当前位置是真实世界位置;
方向传感器,其被配置成计算当前方向;以及
存储库,其被配置成保存关于系统对象的包含持久性范围的信息;
智能体设备,其耦接至所述位置传感器和所述方向传感器,并且具有观看单元,并且其中:
所述智能体被配置成检测所述当前位置的检测阈值内的第一参考框架和第二参考框架之间的入口点,检测所述第二参考框架中的系统对象,从所述存储库检索与所述系统对象相关联的内容,基于小于所述持久性范围的当前时间计算所述系统对象的持久性,针对具有与可见性访问权限相匹配的角色的所述智能体设备计算所述系统对象的可见性,以及基于所述系统对象的持久性和可见性在所述观看单元上呈现覆盖有所述内容的真实世界图像。
7.根据权利要求6所述的系统,其中,
可见性基于与所述智能体设备相关联的所述角色。
8.根据权利要求6所述的系统,其中,
可见性基于与所述智能体设备相关联的角色,其中所述角色包含用于访问所述系统对象的令牌集和访问权限。
9.根据权利要求6所述的系统,其中,
所述系统对象与所述第二参考框架中的兴趣点相关联。
10.根据权利要求6所述的系统,其中,
基于来自外部数据系统的显示信息呈现所述系统对象。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462096109P | 2014-12-23 | 2014-12-23 | |
US62/096,109 | 2014-12-23 | ||
US14/965,006 | 2015-12-10 | ||
US14/965,006 US10335677B2 (en) | 2014-12-23 | 2015-12-10 | Augmented reality system with agent device for viewing persistent content and method of operation thereof |
PCT/US2015/066188 WO2016106052A1 (en) | 2014-12-23 | 2015-12-16 | Augmented reality system and method of operation thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107251103A CN107251103A (zh) | 2017-10-13 |
CN107251103B true CN107251103B (zh) | 2021-03-12 |
Family
ID=56130059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580076789.1A Active CN107251103B (zh) | 2014-12-23 | 2015-12-16 | 增强现实系统及其操作方法 |
Country Status (4)
Country | Link |
---|---|
US (5) | US10335677B2 (zh) |
EP (1) | EP3238181A4 (zh) |
CN (1) | CN107251103B (zh) |
WO (1) | WO2016106052A1 (zh) |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140067869A1 (en) * | 2012-08-30 | 2014-03-06 | Atheer, Inc. | Method and apparatus for content association and history tracking in virtual and augmented reality |
US10304110B2 (en) | 2013-12-26 | 2019-05-28 | Ebay Inc. | Ticket listing triggered by URL links |
US10789554B2 (en) | 2014-01-08 | 2020-09-29 | Stubhub, Inc. | Validity determination of an event ticket and automatic population of admission information |
US9332285B1 (en) | 2014-05-28 | 2016-05-03 | Lucasfilm Entertainment Company Ltd. | Switching modes of a media content item |
US10335677B2 (en) | 2014-12-23 | 2019-07-02 | Matthew Daniel Fuchs | Augmented reality system with agent device for viewing persistent content and method of operation thereof |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
US9990603B2 (en) * | 2015-05-22 | 2018-06-05 | Autodesk, Inc. | Product inventory system |
US10404938B1 (en) | 2015-12-22 | 2019-09-03 | Steelcase Inc. | Virtual world method and system for affecting mind state |
US10181218B1 (en) | 2016-02-17 | 2019-01-15 | Steelcase Inc. | Virtual affordance sales tool |
US11876941B1 (en) | 2016-06-20 | 2024-01-16 | Pipbin, Inc. | Clickable augmented reality content manager, system, and network |
US11785161B1 (en) | 2016-06-20 | 2023-10-10 | Pipbin, Inc. | System for user accessibility of tagged curated augmented reality content |
US11201981B1 (en) | 2016-06-20 | 2021-12-14 | Pipbin, Inc. | System for notification of user accessibility of curated location-dependent content in an augmented estate |
US10805696B1 (en) * | 2016-06-20 | 2020-10-13 | Pipbin, Inc. | System for recording and targeting tagged content of user interest |
US10334134B1 (en) * | 2016-06-20 | 2019-06-25 | Maximillian John Suiter | Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction |
US11044393B1 (en) * | 2016-06-20 | 2021-06-22 | Pipbin, Inc. | System for curation and display of location-dependent augmented reality content in an augmented estate system |
US10638256B1 (en) * | 2016-06-20 | 2020-04-28 | Pipbin, Inc. | System for distribution and display of mobile targeted augmented reality content |
US10552497B2 (en) | 2016-08-16 | 2020-02-04 | International Business Machines Corporation | Unbiasing search results |
US10339708B2 (en) * | 2016-11-01 | 2019-07-02 | Google Inc. | Map summarization and localization |
US10182210B1 (en) | 2016-12-15 | 2019-01-15 | Steelcase Inc. | Systems and methods for implementing augmented reality and/or virtual reality |
CN114390350B (zh) * | 2017-01-18 | 2023-08-01 | 交互数字Vc控股公司 | 用于选择场景以在增强现实界面中浏览历史记录的系统和方法 |
US10546427B2 (en) * | 2017-02-15 | 2020-01-28 | Faro Technologies, Inc | System and method of generating virtual reality data from a three-dimensional point cloud |
KR102432283B1 (ko) | 2017-05-01 | 2022-08-11 | 매직 립, 인코포레이티드 | 콘텐츠를 공간 3d 환경에 매칭 |
US10157476B1 (en) * | 2017-06-15 | 2018-12-18 | Satori Worldwide, Llc | Self-learning spatial recognition system |
US20190057180A1 (en) * | 2017-08-18 | 2019-02-21 | International Business Machines Corporation | System and method for design optimization using augmented reality |
WO2019124851A1 (ko) * | 2017-12-18 | 2019-06-27 | 네이버랩스 주식회사 | 지오펜싱 기반의 컨텐츠를 클라우드소싱하는 방법 및 그 시스템 |
US11124136B2 (en) * | 2017-12-19 | 2021-09-21 | GM Global Technology Operations LLC | Controlling vehicle modules based on media content |
US10565464B2 (en) | 2017-12-21 | 2020-02-18 | At&T Intellectual Property I, L.P. | Adaptive cloud offloading of mobile augmented reality |
EP3729382A4 (en) | 2017-12-22 | 2021-01-20 | Magic Leap, Inc. | PROCESS AND SYSTEM FOR MANAGING AND DISPLAYING VIRTUAL CONTENT IN A MIXED REALITY SYSTEM |
US10754502B2 (en) * | 2018-01-25 | 2020-08-25 | Microsoft Technology Licensing, Llc | Framework for contextual notifications |
CA3091026A1 (en) | 2018-02-22 | 2019-08-29 | Magic Leap, Inc. | Object creation with physical manipulation |
JP7112502B2 (ja) | 2018-02-22 | 2022-08-03 | マジック リープ, インコーポレイテッド | 複合現実システムのためのブラウザ |
US11527044B2 (en) * | 2018-06-27 | 2022-12-13 | Samsung Electronics Co., Ltd. | System and method for augmented reality |
JP7445642B2 (ja) | 2018-08-13 | 2024-03-07 | マジック リープ, インコーポレイテッド | クロスリアリティシステム |
US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
JP2022512600A (ja) | 2018-10-05 | 2022-02-07 | マジック リープ, インコーポレイテッド | 任意の場所における場所特有の仮想コンテンツのレンダリング |
US11368810B2 (en) * | 2018-10-31 | 2022-06-21 | Stubhub, Inc. | Digital content reconfiguration based on physical accommodations |
CN109753351B (zh) * | 2019-01-03 | 2023-09-01 | 创新先进技术有限公司 | 一种限时任务处理方法、装置、设备及介质 |
WO2020190254A1 (en) | 2019-03-15 | 2020-09-24 | Google Llc | Pickup and drop-off location identification for ridesharing and delivery via augmented reality |
US10554596B1 (en) | 2019-03-28 | 2020-02-04 | Wormhole Labs, Inc. | Context linked messaging system |
CN113711174A (zh) * | 2019-04-03 | 2021-11-26 | 奇跃公司 | 用混合现实系统在虚拟三维空间中管理和显示网页 |
US10825254B1 (en) * | 2019-05-30 | 2020-11-03 | International Business Machines Corporation | Augmented reality book selection-assist |
CN110908504B (zh) * | 2019-10-10 | 2021-03-23 | 浙江大学 | 一种增强现实博物馆协作交互方法与系统 |
JP2022551735A (ja) | 2019-10-15 | 2022-12-13 | マジック リープ, インコーポレイテッド | 無線フィンガプリントを用いたクロスリアリティシステム |
CN114600064A (zh) | 2019-10-15 | 2022-06-07 | 奇跃公司 | 具有定位服务的交叉现实系统 |
US11386627B2 (en) | 2019-11-12 | 2022-07-12 | Magic Leap, Inc. | Cross reality system with localization service and shared location-based content |
US11455300B2 (en) | 2019-11-18 | 2022-09-27 | Rockwell Automation Technologies, Inc. | Interactive industrial automation remote assistance system for components |
US11263570B2 (en) * | 2019-11-18 | 2022-03-01 | Rockwell Automation Technologies, Inc. | Generating visualizations for instructional procedures |
US11733667B2 (en) | 2019-11-18 | 2023-08-22 | Rockwell Automation Technologies, Inc. | Remote support via visualizations of instructional procedures |
EP4073763A4 (en) | 2019-12-09 | 2023-12-27 | Magic Leap, Inc. | CROSS-REALLY SYSTEM WITH SIMPLIFIED PROGRAMMING OF VIRTUAL CONTENT |
JPWO2021140631A1 (zh) * | 2020-01-09 | 2021-07-15 | ||
CN115398314A (zh) | 2020-02-13 | 2022-11-25 | 奇跃公司 | 使用多分辨率帧描述符进行地图处理的交叉现实系统 |
WO2021163295A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with prioritization of geolocation information for localization |
CN115427758A (zh) | 2020-02-13 | 2022-12-02 | 奇跃公司 | 具有精确共享地图的交叉现实系统 |
WO2021173779A1 (en) | 2020-02-26 | 2021-09-02 | Magic Leap, Inc. | Cross reality system with fast localization |
EP3893096A1 (en) * | 2020-04-06 | 2021-10-13 | Siemens Aktiengesellschaft | Aligning and augmenting a partial subspace of a physical infrastructure with at least one information element |
CN111530081B (zh) * | 2020-04-17 | 2023-07-25 | 成都数字天空科技有限公司 | 游戏关卡设计方法、装置、存储介质及电子设备 |
US11900547B2 (en) | 2020-04-29 | 2024-02-13 | Magic Leap, Inc. | Cross reality system for large scale environments |
WO2021247940A1 (en) * | 2020-06-03 | 2021-12-09 | Mr Fun, Llc | Location based augmented reality gaming system |
US20210384741A1 (en) * | 2020-06-09 | 2021-12-09 | Lowe's Companies, Inc. | Tool-agnostic device |
WO2021252417A1 (en) | 2020-06-10 | 2021-12-16 | Lowe's Companies, Inc. | Tool-agnostic device |
CN111773658B (zh) * | 2020-07-03 | 2024-02-23 | 珠海金山数字网络科技有限公司 | 一种基于计算机视觉库的游戏交互方法及装置 |
US11462016B2 (en) * | 2020-10-14 | 2022-10-04 | Meta Platforms Technologies, Llc | Optimal assistance for object-rearrangement tasks in augmented reality |
US20230185406A1 (en) * | 2021-12-09 | 2023-06-15 | Meta Platforms Technologies, Llc | Smart rejection of false solid-state button presses on smart glasses |
US20230239356A1 (en) * | 2022-01-21 | 2023-07-27 | Meta Platforms Technologies, Llc | Interaction controls in artificial reality |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103221953A (zh) * | 2010-09-23 | 2013-07-24 | 诺基亚公司 | 在增强现实中用于分组内容的方法,装置和计算机程序产品 |
CN103646391A (zh) * | 2013-09-30 | 2014-03-19 | 浙江大学 | 一种针对动态变化场景的实时摄像机跟踪方法 |
CN103870485A (zh) * | 2012-12-13 | 2014-06-18 | 华为终端有限公司 | 实现增强现实应用的方法及设备 |
CN103869469A (zh) * | 2012-12-13 | 2014-06-18 | 精工爱普生株式会社 | 头戴式显示装置、该装置的控制方法以及作业支援系统 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5873096A (en) * | 1997-10-08 | 1999-02-16 | Siebel Systems, Inc. | Method of maintaining a network of partially replicated database system |
AU6440398A (en) * | 1997-02-26 | 1998-09-18 | Siebel Systems, Inc. | Method of using a cache to determine the visibility to a remote database client of a plurality of database transactions |
US20030210228A1 (en) | 2000-02-25 | 2003-11-13 | Ebersole John Franklin | Augmented reality situational awareness system and method |
US6509902B1 (en) * | 2000-02-28 | 2003-01-21 | Mitsubishi Electric Research Laboratories, Inc. | Texture filtering for surface elements |
US6879332B2 (en) * | 2000-05-16 | 2005-04-12 | Groxis, Inc. | User interface for displaying and exploring hierarchical information |
US7908629B2 (en) * | 2001-06-28 | 2011-03-15 | Intel Corporation | Location-based image sharing |
US7071970B2 (en) | 2003-03-10 | 2006-07-04 | Charles Benton | Video augmented orientation sensor |
US8585476B2 (en) | 2004-11-16 | 2013-11-19 | Jeffrey D Mullen | Location-based games and augmented reality systems |
US8933889B2 (en) | 2005-07-29 | 2015-01-13 | Nokia Corporation | Method and device for augmented reality message hiding and revealing |
US20080225048A1 (en) * | 2007-03-15 | 2008-09-18 | Microsoft Corporation | Culling occlusions when rendering graphics on computers |
US20100191728A1 (en) * | 2009-01-23 | 2010-07-29 | James Francis Reilly | Method, System Computer Program, and Apparatus for Augmenting Media Based on Proximity Detection |
US20100208033A1 (en) * | 2009-02-13 | 2010-08-19 | Microsoft Corporation | Personal Media Landscapes in Mixed Reality |
US8863029B2 (en) * | 2009-09-01 | 2014-10-14 | Oracle International Corporation | Method and system for providing graphical user interface having filtering capability |
US8185596B2 (en) * | 2010-02-22 | 2012-05-22 | Samsung Electronics Co., Ltd. | Location-based communication method and system |
US20110279453A1 (en) * | 2010-05-16 | 2011-11-17 | Nokia Corporation | Method and apparatus for rendering a location-based user interface |
US9910866B2 (en) * | 2010-06-30 | 2018-03-06 | Nokia Technologies Oy | Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality |
JP2012029164A (ja) * | 2010-07-26 | 2012-02-09 | Konica Minolta Business Technologies Inc | 携帯端末及び装置管理方法 |
KR101266198B1 (ko) | 2010-10-19 | 2013-05-21 | 주식회사 팬택 | 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법 |
FR2967804B1 (fr) | 2010-11-19 | 2013-01-04 | Total Immersion | Procede et dispositif de detection et de suivi d'objets non rigides en mouvement, en temps reel, dans un flux video, permettant a un utilisateur d'interagir avec un systeme informatique |
US8438233B2 (en) * | 2011-03-23 | 2013-05-07 | Color Labs, Inc. | Storage and distribution of content for a user device group |
EP3654147A1 (en) * | 2011-03-29 | 2020-05-20 | QUALCOMM Incorporated | System for the rendering of shared digital interfaces relative to each user's point of view |
JP6056178B2 (ja) | 2012-04-11 | 2017-01-11 | ソニー株式会社 | 情報処理装置、表示制御方法及びプログラム |
US9035970B2 (en) | 2012-06-29 | 2015-05-19 | Microsoft Technology Licensing, Llc | Constraint based information inference |
US9378591B2 (en) | 2012-07-27 | 2016-06-28 | Nokia Technologies Oy | Method and apparatus for detecting occlusion in an augmented reality display |
US9342929B2 (en) * | 2013-01-22 | 2016-05-17 | Microsoft Technology Licensing, Llc | Mixed reality experience sharing |
US9146668B2 (en) * | 2013-01-31 | 2015-09-29 | Hewlett-Packard Development Company, L.P. | Graphical element placement on a display surface |
US20140267411A1 (en) | 2013-03-15 | 2014-09-18 | Elwha Llc | Indicating observation or visibility patterns in augmented reality systems |
US9325571B2 (en) * | 2013-05-28 | 2016-04-26 | Dropbox, Inc. | Access permissions for shared content |
US9685003B2 (en) * | 2013-06-03 | 2017-06-20 | Microsoft Technology Licensing, Llc | Mixed reality data collaboration |
EP3033726A4 (en) | 2013-08-12 | 2017-03-15 | Airvirtise LLC | Augmented reality device |
US9361732B2 (en) * | 2014-05-01 | 2016-06-07 | Microsoft Technology Licensing, Llc | Transitions between body-locked and world-locked augmented reality |
US10335677B2 (en) | 2014-12-23 | 2019-07-02 | Matthew Daniel Fuchs | Augmented reality system with agent device for viewing persistent content and method of operation thereof |
US10360363B1 (en) * | 2015-04-02 | 2019-07-23 | Mark Y. Grosberg | System and method for verified admission through access controlled locations using a mobile device |
-
2015
- 2015-12-10 US US14/965,006 patent/US10335677B2/en active Active
- 2015-12-16 CN CN201580076789.1A patent/CN107251103B/zh active Active
- 2015-12-16 WO PCT/US2015/066188 patent/WO2016106052A1/en active Application Filing
- 2015-12-16 EP EP15874147.0A patent/EP3238181A4/en active Pending
-
2019
- 2019-07-01 US US16/459,358 patent/US11040276B2/en active Active
-
2021
- 2021-06-21 US US17/353,676 patent/US11433297B2/en active Active
-
2022
- 2022-09-06 US US17/903,941 patent/US11633667B2/en active Active
-
2023
- 2023-04-25 US US18/139,301 patent/US20230264100A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103221953A (zh) * | 2010-09-23 | 2013-07-24 | 诺基亚公司 | 在增强现实中用于分组内容的方法,装置和计算机程序产品 |
CN103870485A (zh) * | 2012-12-13 | 2014-06-18 | 华为终端有限公司 | 实现增强现实应用的方法及设备 |
CN103869469A (zh) * | 2012-12-13 | 2014-06-18 | 精工爱普生株式会社 | 头戴式显示装置、该装置的控制方法以及作业支援系统 |
CN103646391A (zh) * | 2013-09-30 | 2014-03-19 | 浙江大学 | 一种针对动态变化场景的实时摄像机跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3238181A4 (en) | 2017-12-20 |
US10335677B2 (en) | 2019-07-02 |
US20190321723A1 (en) | 2019-10-24 |
US20230001294A1 (en) | 2023-01-05 |
US20230264100A1 (en) | 2023-08-24 |
US11433297B2 (en) | 2022-09-06 |
EP3238181A1 (en) | 2017-11-01 |
WO2016106052A1 (en) | 2016-06-30 |
US20160180602A1 (en) | 2016-06-23 |
US11040276B2 (en) | 2021-06-22 |
US20210308568A1 (en) | 2021-10-07 |
US11633667B2 (en) | 2023-04-25 |
CN107251103A (zh) | 2017-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107251103B (zh) | 增强现实系统及其操作方法 | |
US11763530B2 (en) | Content association and history tracking in virtual and augmented realities | |
JP5878555B2 (ja) | 3dアプリケーションの地物におけるユーザーの興味を決定する視野依存技術 | |
CN104063466A (zh) | 虚拟-现实一体化的三维显示方法及系统 | |
CN104396284A (zh) | 呈现针对当前位置或时间的信息 | |
Pokric et al. | Augmented Reality Enabled IoT Services for Environmental Monitoring Utilising Serious Gaming Concept. | |
CN110084877A (zh) | 使用聚合特征标识符来管理地图元素 | |
CN109313647A (zh) | 用于生成地理信息卡片地图的系统和方法 | |
Thielmann et al. | Dwelling in the web: Towards a Googlization of space | |
CN106713380A (zh) | 一种基于位置感知的信息共享、推送与交换系统 | |
CN110442813A (zh) | 一种基于ar的旅游纪念信息处理系统及方法 | |
Amirian et al. | The next generation of navigational services using OpenStreetMap data: The integration of augmented reality and graph databases | |
Erra et al. | Engineering an advanced geo-location augmented reality framework for smart mobile devices | |
CN109523430A (zh) | 一种旅游虚拟现实系统 | |
Shekhar et al. | From GPS and virtual globes to spatial computing-2020 | |
Lu et al. | Webvrgis: Webgis based interactive online 3d virtual community | |
Yasuoka et al. | The advancement of world digital cities | |
CN114090713A (zh) | 基于增强现实的服务提供方法、系统及电子设备 | |
CN112256771A (zh) | 一种用于博览会的展览平台系统 | |
Buschmann et al. | GPU-based, interactive exploration of large spatiotemporal climate networks | |
KR20160145720A (ko) | 디바이스, 게임 및 그러한 디바이스와 게임을 위한 방법들 | |
US20220083631A1 (en) | Systems and methods for facilitating access to distributed reconstructed 3d maps | |
WO2023107729A1 (en) | Methods and systems to allow three-dimensional maps sharing and updating | |
Ou et al. | Sociospatial Wellbeing in Urban Commercial Centres: An Analysis of Abstraction and Relationality of Novel Mall Spatialities in the Mobile Internet Era | |
SatyaNarayana et al. | Data Management in IOT Applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |