CN113748402A - 用于动态地加载基于区域的增强现实内容的系统和方法 - Google Patents
用于动态地加载基于区域的增强现实内容的系统和方法 Download PDFInfo
- Publication number
- CN113748402A CN113748402A CN202080033924.5A CN202080033924A CN113748402A CN 113748402 A CN113748402 A CN 113748402A CN 202080033924 A CN202080033924 A CN 202080033924A CN 113748402 A CN113748402 A CN 113748402A
- Authority
- CN
- China
- Prior art keywords
- augmented reality
- marker
- reality content
- geographic area
- beacon
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25808—Management of client data
- H04N21/25841—Management of client data involving the geographical location of the client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4335—Housekeeping operations, e.g. prioritizing content for deletion because of storage space restrictions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Environmental & Geological Engineering (AREA)
- Library & Information Science (AREA)
- Emergency Management (AREA)
- Ecology (AREA)
- Business, Economics & Management (AREA)
- Biodiversity & Conservation Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
增强现实装置从促进确定该装置与相应的信标之间的距离的信标接收地理区域内的信标信号。该装置将指示信标信号的信标相关信号发送到服务器,服务器确定该装置的区域。服务器确定该装置的区域内的标记,并且将与标记相关联的标记信号和增强现实内容发送到该装置。该装置扫描区域并且输出与该装置基于标记信号而识别的标记相关联的内容。当该装置进入随后的区域时,该装置从额外的信标接收额外的信标信号,发送额外的信标相关信号,并且接收额外的标记信号和内容。如果在该装置上存在不足以存储额外的标记信号和内容的存储空间,则该装置删除先前的标记信号和相关联的内容。该装置存储额外的标记信号和内容。
Description
对相关申请的交叉引用
本申请要求提交于2019年5月6日的、标题为“用于动态地加载基于区域的增强现实内容的系统和方法”的、第62/843,968号的美国临时申请的利益,该临时申请特此出于所有目的以其整体通过引用而被并入。
背景技术
本公开一般涉及增强现实,并且更特别地涉及基于定位信息(例如,一组空间图像或视觉标记)而动态地加载基于区域的增强现实内容。
本章节旨在向读者介绍可能与本公开的各种方面有关的各种技术方面,这些技术方面在下文中描述和/或要求保护。本讨论被认为帮助给读者提供背景信息以促进更好地理解本公开的各种方面。因此,理解到,这些陈述将从这个角度来阅读,而非作为对现有技术的承认来阅读。
增强现实装置可以包括例如利用计算机生成的内容(例如,图像(包括实时渲染的影像和/或三维表示或对象)、音频数据、触觉数据等等)来覆盖真实世界环境的头部佩戴设备(headwear)或眼部佩戴设备(eyewear)。增强现实装置可以使用例如照相机来识别真实环境中的视觉标记,并且输出与视觉标记对应的增强现实内容,使得在预期空间处输出期望的增强现实内容。然而,由于增强现实内容和视觉标记的大小导致增强现实装置可能仅能够存储足够为有限空间提供增强现实体验(例如,为房屋的最多到几个房间提供增强现实体验)的视觉标记和增强现实内容。现在认识到,用于在更大或更宽的区域中提供增强现实的系统和/方法是理想的。
发明内容
在下文中总结在范围上与原先要求保护的主题相应的某些实施例。这些实施例不旨在限制本公开的范围,而是更确切地说,这些实施例仅旨在提供某些公开的实施例的简短概要。实际上,本公开可以包含可以与下文中所阐明的实施例类似或不同的各种各样的形式。
特别地,在一个实施例中,增强现实系统包括将信标信号发送到位于地理区域内的增强现实装置的信标。增强现实系统还包括增强现实内容管理服务器,增强现实内容管理服务器从增强现实装置接收信标相关信号,部分地基于信标相关信号而确定标记和与标记相关联的增强现实内容,并且将指示标记的标记信号和增强现实内容发送到增强现实装置。标记(其可以是一组标记中的一个)位于地理区域内,并且能够由增强现实装置的照相机识别。增强现实系统进一步包括通信地耦合到信标和增强现实内容管理服务器的增强现实装置。增强现实装置包括照相机、显示器以及具有处理器和存储器的控制器。处理器在执行存储于存储器上的指令时,从信标接收信标信号,并且基于信标信号而将信标相关信号发送到增强现实内容服务器。处理器还:从增强现实内容管理服务器接收标记信号和增强现实内容;使用照相机来扫描地理区域;识别地理区域内的标记;以及响应于识别标记而在显示器上输出增强现实内容。
在另一实施例中,增强现实装置包括:照相机;显示器;标记识别逻辑,其使用照相机来识别地理区域内的标记;内容输出逻辑,其在显示器上输出增强现实内容;以及控制器,其具有处理器和存储器。处理器在执行存储于存储器上的指令时,从地理区域内的信标接收信标信号,基于信标信号而将信标相关信号发送到增强现实内容管理服务器,基于信标相关信号而从增强现实内容管理服务器接收指示标记的标记信号和增强现实内容,指导标记识别逻辑扫描地理区域,识别地理区域内的标记,并且指导内容输出逻辑响应于识别标记而在显示器上输出增强现实内容。
在又一实施例中,有形非暂时性计算机可读介质包括用于动态地加载基于区域的增强现实内容的指令。指令在由处理器执行时引起处理器:从地理区域内的信标接收信标信号,将指示信标信号的信标相关信号发送到增强现实内容管理服务器,基于信标相关信号而从增强现实内容管理服务器接收指示地理区域内的标记的标记信号和与标记信号相关联的增强现实内容,针对标记而扫描地理区域,并且响应于识别地理区域内的标记而输出与标记相关联的增强现实内容。
附图说明
当参考附图而阅读以下的详述时,本公开的这些及其它特征、方面以及优点将变得更好理解,在附图中,贯穿附图,相同的字符表示相同的部分,其中:
图1是根据本公开的实施例的增强现实系统的透视图;
图2是根据本公开的实施例的图1的增强现实系统的框图;
图3是说明根据本公开的实施例的用于动态地加载基于区域的增强现实内容的方法的流程图;
图4是说明根据本公开的实施例的用以促进动态地加载基于区域的增强现实内容的用于图2的增强现实内容管理服务器的方法的流程图;以及
图5是说明根据本公开的实施例的用以对标记进行更新的用于图2的增强现实内容管理服务器的方法的流程图。
具体实施方式
将在下文中描述一个或多个具体实施例。为了提供对这些实施例的简明描述,未在说明书中描述实际实现方式的所有特征。应当意识到,在对任何这样的实际实现方式的开发中,如同在任何工程或设计项目中一样,必须作出许多特定于实现方式的决策以达到开发者的可能因实现方式而异的具体目标,诸如,对与系统相关的约束条件和与商业相关的约束条件的依从性。此外,应当意识到,这样的开发努力可能复杂并且耗时,但对于得益于本公开的普通技术人员而言,这样的开发努力将不过是设计、制作以及制造的常规任务。
当介绍本公开的各种实施例的元件时,冠词“一”、“一个”以及“该”旨在意味着存在元件中的一个或多个。用语“包含”、“包括”以及“具有”旨在为包括性的,并且意味着可能存在除了所列出的元件之外的额外的元件。另外,应当理解,本公开的对“一个实施例” 或“一实施例”的引用不旨在被解释为排除还将所叙述的特征并入的额外的实施例的存在。
本公开一般涉及增强现实,并且更特别地涉及动态地加载基于区域的增强现实内容。多个信标可以遍及物理环境散布。增强现实装置可以从促进确定增强现实装置与相应的信标之间的距离的信标接收物理环境的地理区域内的信标信号。增强现实装置可以将指示信标信号的信标相关信号发送到增强现实内容管理服务器,增强现实内容管理服务器可以基于信标相关信号而确定增强现实装置的区域。增强现实内容管理服务器然后可以确定增强现实装置的区域处或其附近的标记。增强现实内容管理服务器可以将指示标记的标记信号和与标记相关联的增强现实内容发送到增强现实装置。增强现实装置可以扫描该区域,并且响应于基于标记信号而识别标记,输出与标记相关联的增强现实内容。
当增强现实装置进入物理环境的随后的地理区域时,增强现实装置可以从随后的地理区域处的信标接收额外的信标信号,基于额外的信标信号而发送额外的信标相关信号,并且基于额外的信标相关信号而接收额外的标记信号和增强现实内容。如果在增强现实装置(例如,呈易失性存储器(诸如,随机存取存储器(RAM))、非易失性存储器(诸如,闪速存储器)或两者的组合的形式)上不存在足够的存储空间以存储额外的标记信号和增强现实内容,则增强现实装置可以删除先前的标记信号和相关联的增强现实内容。增强现实装置然后可以存储额外的标记信号和增强现实内容。例如,增强现实装置可以删除最早存储的标记信号和增强现实内容或与物理环境的离增强现实装置的当前区域最远的地理区域相关联的所存储的标记信号和增强现实内容。增强现实装置然后可以针对与额外的标记信号相关联的标记而扫描当前区域,并且输出额外的增强现实内容。照此,增强现实装置可以持续地存储与增强现实装置的当前区域相关联的标记信号和增强现实内容,针对与新上传的标记信号相关联的相关标记而扫描,并且输出适当且新上传的增强现实内容。以此方式,即使对于具有增强现实装置可能典型地针对其而不具有足以存储的存储空间的增强现实内容的大或更宽的区域,也可以动态地加载并且提供基于区域的增强现实内容。
作为介绍,图1是根据本公开的实施例的增强现实系统10的透视图。增强现实系统10包括增强现实装置12,增强现实装置12可以是利用计算机生成的内容(例如,图像、音频数据、触觉数据等等)或增强现实内容来覆盖真实世界环境的任何合适的电子装置。例如,增强现实装置12可以包括显示器13,显示器13使用户能够察看真实世界环境同时将图像覆盖于视图上。照此,增强现实装置12可以包括眼镜、头戴式受话器、平视显示器、隐形眼镜、虚拟视网膜显示器、EyeTap、手持显示器、空间增强现实系统、谷歌产品(googles)等等。在一些实施例中,增强现实装置12可以包括用户的智能手机或移动通信装置。用户可以将其智能手机举起,该智能手机可以使用其照相机来示出真实世界环境并且在所显示的真实世界环境的顶部上显示增强现实内容。在一些情况下,智能手机可以安装到头戴式受话器或护目镜,以使用户不必使用其手来将智能手机举起就能够欣赏增强现实环境。在备选或额外的实施例中,增强现实装置12可以包括音频输出部件(例如,扬声器、头戴式耳机、耳机等等)和/或触觉输出部件(例如,振动部件、运动生成部件、手套等等)。
如所说明的,用户在第一地理区域或位置14(例如,主题公园或娱乐场所的第一地理区域或位置14)中操作增强现实装置12。在第一地理区域14中,增强现实系统10可以包括一个或多个信标16。信标16可以促进确定增强现实装置12的地理区域。特别地,每个信标16可以将可以提供信标16与增强现实装置12之间的距离的指示的信标信号发送到增强现实装置12。信标信号可以使用任何合适的通信协议(诸如,蓝牙、WiFi、红外、以太网、Thread、ZigBee、Z-Wave、KNX、移动等等)来发送到增强现实装置12。该地理区域可以包括例如某个位置的范围或测量值(例如,该位置的20英尺半径范围)、建筑物的一个或多个房间、建筑物的一层楼或多层楼或者一层或多层、建筑物的一个或多个房间和/或一层楼或多层楼或者一层或多层的一部分等等。
在一些实施例中,信标信号可以包括时间戳(例如,在信标16发送信标信号时的时间戳),并且,信标16与增强现实装置12之间的距离可以基于信标信号的已知或预确定的速度和该时间戳而确定(例如,由增强现实装置12确定)。在一些情况下,单个信标16可以用于确定增强现实装置12的近似地理区域(例如,在信标16的半径范围内)。在其它情况下,多个信标16可以用于更精确地确定增强现实装置12的地理区域(例如,经由三角测量或其它位置确定技术)。
信标信号还可以或备选地包括识别符,诸如,区域识别符(例如,与第一地理区域14相关联)。照此,信标信号可以使增强现实装置12能够基于区域识别符而确定增强现实装置12位于其中的区域。在一些实施例中,信标信号可以包括时间戳、版本代码和/或校验和,该时间戳、版本代码和/或校验和用以指示当前的相关联的映射集,从而使增强现实装置12能够确定与信标信号相关联的当前的映射集是否为最新的。例如,每个映射集可以包括用于增强现实装置12的期满时间戳,以与时间戳、版本代码和/或校验和比较。如果增强现实装置12确定信标信号的相关联的映射集是过时的,则增强现实装置12可以重新查询最新映射集。此外,虽然图1中所示出的信标16说明为位于外侧,但信标16也可以设置于建筑物内侧(例如,建筑物的每个房间中的一个或多个信标16)、建筑物的不同楼层中等等。在额外或备选的实施例中,信标16的使用可以利用任何其它合适的位置确定技术(诸如,全球定位系统(GPS)、WiFi映射、蜂窝信号三角测量等等)来补充,以例如减少用于确定增强现实装置12的地理区域的信标16的数量。
增强现实装置12可以经由例如通信网络20来通信地耦合到增强现实内容管理服务器18。在一些实施例中,增强现实装置12可以将由信标16发送的信标信号或指示信标信号的信标相关信号发送到增强现实内容管理服务器18。信标相关信号可以由增强现实装置12生成,以包括与对增强现实装置12进行定位相关联的信标信号的信息。在一些实施例中,信标相关信号可以包括信标信号的至少一部分的组合。增强现实内容管理服务器18于是可以确定增强现实装置12的地理区域。在备选或额外的实施例中,增强现实装置12可以基于信标信号而确定该区域,并且然后将指示地理区域的位置信号发送到增强现实内容管理服务器18。增强现实内容管理服务器18可以存储、访问或检索与增强现实装置12的所确定的区域对应的标记信息和与标记信息相关联的增强现实内容。增强现实内容管理服务器18然后可以将标记信息(例如,作为标记信号)和相关联的增强现实内容发送到增强现实装置12。
标记信息可以包括用于识别、描述或指示增强现实装置12的地理区域内的空间图像或视觉标记或标签22的任何合适的信息。例如,标记信息可以包括图像辨识信息、条形码或快速响应(QR)码信息等等。标记或标签22可以包括使增强现实装置12能够辨识标记22的任何合适的识别符。例如,标记22可以包括视觉识别符,诸如,海报、图形、设计、形状、墙壁或天花板的形状、墙壁或天花板上的图案、条形码、QR码等等。增强现实装置12的照相机24可以扫描该区域并且使用标记信息来识别标记22。响应于识别标记22,增强现实装置12可以输出与该标记相关联的增强现实内容26。增强现实内容26可以包括增强现实装置12可以输出的任何合适的内容,诸如,图像内容、音频内容、触觉内容(例如,振动内容)等等。例如,增强现实内容可以包括飞来飞去(例如,与布景和/或旅客交互)的生物、水管埋设于其中的位置或电气布线出于维护目的而在墙壁中位于其中的位置等等。
如图1中所说明的,在增强现实装置12处于第一地理区域14内时,由增强现实内容管理服务器18发送的标记信息指示标记22,标记22是窗框。增强现实内容管理服务器18还发送与说明为幻影(以虚线说明)的标记22相关联的增强现实内容26。当用户环顾第一地理区域14时,照相机24扫描第一地理区域14并且识别标记22(例如,窗框)。增强现实装置12输出(例如,显示)与标记22相关联的增强现实内容26(例如,幻影)。
增强现实装置12可以存储标记信息(与标记22相关联)和相关联的增强现实内容26。照此,在随后由增强现实装置12察看标记22(例如,窗框)期间,增强现实装置12可以再一次输出增强现实内容26(例如,幻影),但不必从增强现实内容管理服务器18下载标记信息和相关联的增强现实内容26。
图1还说明第二地理区域或位置28。第二区域28还可以包括一个或多个信标30。在一些情况下,第二地理区域28内的信标30中的一个或多个可以与第一地理区域14的信标16中的一个或多个共享。在其它情况下,第二区域28内的信标30可能不包括第一地理区域14内的信标16中的任何。每个信标30可以将可以提供信标30与增强现实装置12之间的距离的指示的信标信号发送到增强现实装置12。增强现实装置12可以将指示由信标16发送的信标信号的信标相关信号发送到增强现实内容管理服务器18。增强现实内容管理服务器18然后可以确定增强现实装置12的区域(例如,第二地理区域28)。在备选或额外的实施例中,增强现实装置12可以基于信标信号而确定该区域,并且然后将指示该区域的位置信号发送到增强现实内容管理服务器18。
增强现实内容管理服务器18可以将与第二地理区域28相关联的标记信息和与该标记信息相关联的增强现实内容26发送到增强现实装置12。如所说明的,在增强现实装置12位于第二地理区域28内时,由增强现实内容管理服务器18发送的标记信息指示作为铁路交叉口栅门的标记32。增强现实内容管理服务器18还发送与说明为火车(以虚线说明)的标记32相关联的增强现实内容34。当用户环顾第二地理区域28时,照相机24扫描第二地理区域28并且识别标记32(例如,铁路交叉口栅门)。增强现实装置12输出(例如,显示)与标记32相关联的增强现实内容34(例如,火车)。虽然在图1的每个区域(例如、14、28)内仅说明一个标记(例如、22,32),但应当理解,每个地理区域可以包括任何合适的数量的标记(例如,1-1000个标记、1-100个标记、1-10个标记等等)。
增强现实装置12可以存储标记信息(与标记32相关联)和相关联的增强现实内容34。由于增强现实装置12具有有限存储空间,因而先前存储的信息可以被删除,以便为标记信息(与标记32相关联)和相关联的增强现实内容34腾出空间。增强现实装置12可以使用任何合适的算法来确定先前存储的什么信息应当被删除。例如,增强现实装置12可以删除最早存储的标记信息和相关联的增强现实内容。作为另一示例,增强现实装置12可以删除与离增强现实装置的当前区域最远的地理区域或位置对应的标记信息和相关联的增强现实内容。作为又一示例,增强现实装置12可以删除最不常用的标记信息和相关联的增强现实内容,因为,用户也许不太可能正返回到对应区域。在其中先前存储的数据被删除的任何情况下,增强现实装置12可以存储标记信息(与标记32相关联)和相关联的增强现实内容34,并且,在随后由增强现实装置12察看标记32(例如,铁路交叉口栅门)期间,增强现实装置12可以再一次输出增强现实内容34(例如,火车),而不必从增强现实内容管理服务器18下载标记信息和相关联的增强现实内容26。
在备选或额外的实施例中,增强现实装置12可以初始地将先前存储的信息存储于第一(例如,易失性存储器装置)存储器(诸如,RAM)中,并且,在增强现实装置12确定在第一存储器中存在不足以存储新标记信息和/或相关联的增强现实内容34的存储空间时,增强现实装置12可以使先前存储的信息移动到第二(例如,非易失性存储器装置)存储器,诸如,硬盘驱动器或闪速存储器装置。在这样的实施例中,新标记信息和/或相关联的增强现实内容34然后可以迅速地从第一(例如,易失性存储器装置)存储器加载。如果增强现实装置12返回到与先前存储的信息相关联的初始位置,则增强现实装置12然后可以迅速地将先前存储的信息从第二存储器重新加载到第一存储器中,而非再次从内容增强现实内容管理服务器18下载。
考虑到前文,图2是根据本公开的实施例的图1的增强现实系统10的框图。增强现实装置12可以包括控制器50,控制器50具有一个或多个处理器(说明为单个处理器52)和一个或多个存储器或存储装置(说明为单个存储器装置54)。处理器52可以执行存储于存储器装置54中的软件程序和/或指令,该软件程序和/或指令促进动态地加载基于区域的增强现实内容。此外,处理器52可以包括多个微处理器、一个或多个“通用”微处理器、一个或多个专用微处理器和/或一个或多个专用集成电路(ASICS)。例如,处理器52可以包括一个或多个精简指令集(RISC)处理器。存储器装置54可以存储诸如控制软件、查找表、配置数据等等的信息。存储器装置54可以包括有形非暂时性机器可读介质,诸如,易失性存储器(例如,随机存取存储器(RAM))、非易失性存储器(例如,只读存储器(ROM))、闪速存储器、一个或多个硬盘驱动器和/或任何其它合适的光存储介质、磁存储介质或固态存储介质。存储器装置54可以存储各种各样的信息并且可以用于各种目的。
增强现实装置12可以包括通信装置56,通信装置56可以使控制器50能够与任何合适的通信网络20通信。例如,通信网络20可以包括局域网、城域网、广域网、无线网络和/或互联网络或因特网。照此,通信装置56可以使用任何合适的通信协议(诸如,WiFi、红外、以太网、蓝牙、Thread、ZigBee、Z-Wave、KNX、移动等等)来与网络20通信。
增强现实装置12还包括照相机24(其可以是增强现实装置12的多个照相机的集合的一部分),照相机24可以是任何合适的图像捕获或扫描装置。照相机24可以用于促进输出增强现实内容(例如,26)并且针对标记(例如,22)而扫描区域(例如,14)。增强现实装置12还可以包括显示器13,显示器13可以使用户能够在将增强现实内容覆盖于视图上时察看真实世界环境。
增强现实装置12还可以包括标记识别逻辑58,标记识别逻辑58促进在区域(例如,14)内识别标记(例如,22)。特别地,标记识别逻辑58可以从与该标记对应的增强现实内容管理服务器18(例如,经由通信网络20上的通信装置56)接收标记信息,从照相机24接收该区域的一个或多个图像,并且基于标记信息而确定一个或多个图像中的该标记的地理区域。
增强现实装置12还可以包括内容输出逻辑60,内容输出逻辑60促进将增强现实内容(例如,26)输出到例如增强现实装置12的显示器13上。特别地,内容输出逻辑60可以从与标记(例如,22)相关联的增强现实内容管理服务器18(例如,经由通信网络20上的通信装置56)接收增强现实内容,接收来自照相机24的区域(例如,14)的一个或多个图像、一个或多个图像中的该标记的该区域的指示(例如,来自标记识别逻辑58),并且在增强现实装置12上(例如,在显示器13上)输出(例如,显示)增强现实内容。
如本公开中所使用的用语“逻辑”可以包括硬件(例如,电路系统)、软件(例如,机器可读指令)或两者的组合。另外,虽然图2将标记识别逻辑58和/或内容输出逻辑60说明为与增强现实装置12的其它部件分离,但预期到,标记识别逻辑58和/或内容输出逻辑60可以是增强现实装置12的其它部件的一部分,诸如,为控制器50、处理器52和/或存储器装置54的一部分和/或存储于控制器50、处理器52和/或存储器装置54中和/或为增强现实内容管理服务器18的一部分。
通信装置56可以使增强现实装置12能够经由增强现实内容管理服务器18的通信装置62和通信网络20来与增强现实内容管理服务器18通信。通信装置62可以使用任何合适的通信协议(诸如,WiFi、红外、以太网、蓝牙、Thread、ZigBee、Z-Wave、KNX、移动等等)来与网络20通信。
增强现实内容管理服务器18还可以包括控制器64,控制器64具有一个或多个处理器(说明为单个处理器66)和一个或多个存储器或存储装置(说明为单个存储器装置68)。处理器66可以执行存储于存储器装置68中的软件程序和/或指令,该软件程序和/或指令促进管理标记信息和/或增强现实内容。此外,处理器66可以包括多个微处理器、一个或多个“通用”微处理器、一个或多个专用微处理器和/或一个或多个ASICS。例如,处理器66可以包括一个或多个RISC处理器。存储器装置68可以存储诸如控制软件、查找表、配置数据等等的信息。存储器装置68可以包括有形非暂时性机器可读介质,诸如,易失性存储器(例如,RAM、非易失性存储器(例如,ROM)、闪速存储器、一个或多个硬盘驱动器和/或任何其它合适的光存储介质、磁存储介质或固态存储介质。存储器装置68可以存储各种各样的信息并且可以用于各种目的。
增强现实内容管理服务器18可以包括地理区域确定逻辑70,地理区域确定逻辑70促进基于接收信标相关信号而确定地理区域或位置。特别地,地理区域确定逻辑70可以通信地耦合到地理区域数据库72,地理区域数据库72存储使区域与信标相关的信息。地理区域数据库72还可以存储区域和/或信标位于其中的地图。在这样的情况下,增强现实内容管理服务器18可以确定增强现实装置12的地理区域和距其它区域的距离。照此,增强现实内容管理服务器18可以确定增强现实装置12离得最远的区域。增强现实内容管理服务器18可以从存储器装置54删除标记信息和相关联的增强现实内容,以创建用以存储新标记信息和相关联的增强现实内容的存储空间。
在备选或额外的实施例中,地理区域数据库72可以呈表格的形式或使区域与信标相关的任何其它合适的格式。照此,地理区域确定逻辑70可以从增强现实装置12接收一个或多个信标相关信号,并且基于信标相关信号而使用地理区域数据库72来确定地理区域。例如,地理区域数据库72可以包括使第一地理区域14与第一组信标16相关的信息。地理区域确定逻辑70可以从增强现实装置12接收基于从信标16接收信标信号而生成的信标相关信号,并且基于与信标16相关联的信标相关信号而使用地理区域数据库72来确定增强现实装置12位于第一区域14内。在一些实施例中,增强现实装置12可以包括地理区域确定逻辑70,地理区域确定逻辑70可以基于接收信标信号而使用地理区域数据库72来确定增强现实装置12的区域,并且将该区域发送到增强现实内容管理服务器18。
增强现实内容管理服务器18可以包括标记确定逻辑74,标记确定逻辑74促进确定位于地理区域或位置内的标记。特别地,标记确定逻辑74可以通信地耦合到标记数据库76,标记数据库76存储使标记与区域相关的信息。在备选或额外的实施例中,标记数据库76可以呈表格的形式或使标记与区域相关的任何其它合适的格式。照此,标记确定逻辑74可以接收区域的指示(例如,来自地理区域确定逻辑70),并且基于该指示而使用标记数据库76来确定位于该区域中的一个或多个标记。例如,标记数据库76可以包括使标记22(例如,窗框)与第一区域14相关的信息。标记确定逻辑74可以从地理区域确定逻辑70接收第一地理区域14的指示,并且基于该指示而使用标记数据库76来确定设置于第一地理区域14内的标记22。
增强现实内容管理服务器18还可以包括内容确定逻辑78,内容确定逻辑78促进将增强现实内容确定为与标记对应的输出。特别地,内容确定逻辑78可以通信地耦合到内容数据库80,内容数据库80存储使增强现实内容与标记相关的信息。内容数据库80还可以存储增强现实内容,诸如,与使用户能够体验生物飞过头顶相关联的图像、视频、音频和/或触觉数据。在备选或额外的实施例中,内容数据库80可以呈表格的形式或使增强现实内容与标记相关的任何其它合适的格式。照此,内容确定逻辑78可以接收标记的指示(例如,来自标记确定逻辑74),并且基于该指示而使用内容数据库80来确定与标记相关联(例如,应当为与标记相关的输出)的增强现实内容。例如,内容数据库80可以包括使增强现实内容26(例如,幻影)与标记22(例如,窗框)相关的信息。内容确定逻辑78可以从标记确定逻辑74接收标记22的指示,并且基于该指示而确定与标记22相关联的增强现实内容26。在一些情况下,内容确定逻辑78还可以确定增强现实内容的定位信息(例如,与在何处和/或如何输出或显示与例如标记相关的增强现实内容相关联的信息)。
增强现实内容管理服务器18然后可以将标记和相关联的增强现实内容的指示发送到增强现实装置12,增强现实装置12可以使用标记识别逻辑58来基于该指示针对标记而扫描,并且,在标记被识别时,使用内容输出逻辑60来输出(例如,显示)增强现实内容(例如,在显示器13上)。在其中在增强现实装置12位于其中的区域内存在多个标记的情况下,增强现实内容管理服务器18可以使相应的增强现实内容与相应的标记相关联(例如,通过提供相应的增强现实内容与相应的标记相关联的指示)。以此方式,系统10可以动态地加载基于区域的增强现实内容26。
增强现实内容管理服务器18可以包括更新逻辑82,更新逻辑82促进对地理区域数据库72、标记数据库76和/或内容数据库80进行更新。例如,当从不同地理区域添加、移除或修改信标时,更新逻辑82可以对地理区域数据库72进行更新。照此,可以使得地理区域数据库72关于使区域与信标相关是当前(current)的。
当标记被添加、移除或修改时,更新逻辑82还可以对标记数据库76进行更新。例如,相关联的增强现实内容针对其而输出的标记可以包括墙壁上的海报,该海报可以被移除。新标记可以针对将输出的相关联的增强现实内容而被添加或识别,并且因而通过更新逻辑82来在标记数据库76中更新。如所说明的,更新逻辑82可以通信地耦合到一个或多个传感器84,传感器84可以确定标记是否被添加、移除或修改。特别地,传感器84可以包括具有标记(例如,22)位于其中的区域(例如,14)的视图的照相机。传感器84可以包括安置或固定于该区域的察看距离中或该察看距离内的照相机(例如,安全照相机)、由维护或管理该区域的员工(例如,主题公园员工)人工地操作的照相机和/或增强现实装置24或用户(例如,主题公园顾客)的移动通信装置(例如,智能手机)的照相机。更新逻辑82可以使用传感器84来确定标记已被移除,并且使用传感器84来确定替换标记。替换标记可以是可以用于确定在何处并且如何输出相关联的增强现实内容的任何合适的标记。作为示例而使用图1,如果窗框标记22被移除,则更新逻辑82可以使用传感器84(例如,安全照相机)来确定窗框标记22已被移除,并且确定顶部轮廓线(roofline)86应当用作替换标记。更新逻辑82可以对标记数据库76进行更新,以利用顶部轮廓线标记86来替换窗框标记22,并且对内容数据库80进行更新,以使增强现实内容26(例如,幻影)与顶部轮廓线标记86(代替先前相关联的窗框标记22)相关联。照此,可以使得标记数据库76关于地理区域内的标记是当前的,并且,可以使得内容数据库80关于增强现实内容与标记之间的关系是当前的。另外,标记数据库76可以通过使得安置或固定的照相机(例如,84)和/或员工人工地使用照相机(诸如,智能手机和/或增强现实装置12的照相机(例如,24))来预扫描区域以捕获标记(例如,22)和标记位置(例如,当主题公园顾客不在场时)来初始地设定。在一些情况下,该预扫描规程可以在区域中存在流量(traffic)之前或在此之后(例如,在主题公园开放之前或在主题公园关闭之后)周期性地(例如,每天、每周或每月)重复进行。
当增强现实内容被添加、移除或修改时,更新逻辑82还可以对内容数据库80进行更新。照此,可以使得内容数据库80关于使增强现实内容与标记相关是当前的。在一些实施例中,当区域、标记和/或增强现实内容被添加、移除和/或修改时,更新逻辑82可以对地理区域数据库72、标记数据库76和/或内容数据库80进行更新。在备选或额外的实施例中,更新逻辑82可以周期性地(例如,每小时、每天、每周等等)对地理区域数据库72、标记数据库76和/或内容数据库80进行更新。
图3是说明根据本公开的实施例的用于动态地加载基于区域的增强现实内容的方法100的流程图。方法100可以由可以动态地加载基于区域的增强现实内容的任何合适的装置(诸如,处理器52)实行。虽然方法100使用按具体顺序进行的步骤来描述,但应当理解,本公开预期到,所描述的步骤可以按与所说明的顺序不同的顺序实行,并且,某些所描述的步骤可以跳过或并非全部实行。在一些实施例中,方法100可以通过使用处理器(诸如,处理器52)来执行存储于有形非暂时性计算机可读介质(诸如,存储器装置54)中的指令而实现。
如所说明的,在过程框102中,处理器52接收地理区域内的信标信号。返回参考图1,处理器52可以是增强现实装置12的一部分,并且从第一地理区域14内的信标16接收信标信号。在过程框104中,处理器52将指示信标信号的信标相关信号发送到增强现实内容管理服务器18。在一些实施例中,处理器52可以改为将信标信号本身(而非从信标信号推导的信标相关信号)发送到增强现实内容管理服务器18。
在过程框106中,处理器52基于信标相关信号而从增强现实内容管理服务器18接收增强现实内容和指示地理区域处的标记的标记信号。特别地,基于接收信标相关信号,增强现实内容管理服务器18可以使用地理区域确定逻辑70和地理区域数据库72来确定增强现实装置12的地理区域(例如,第一区域14)。增强现实内容管理服务器18然后可以基于该区域而使用标记确定逻辑74和标记数据库76来确定该区域中的标记(例如,标记22)。增强现实内容管理服务器18可以进一步基于标记而使用内容确定逻辑78和内容数据库80来确定与标记相关联的增强现实内容(例如,幻影26)。增强现实内容管理服务器18可以将标记信号(例如,指示标记)和相关联的增强现实内容发送到增强现实装置12。
在决策框108中,处理器52确定是否存在足以存储标记信号和相关联的增强现实内容的存储空间。例如,处理器52可以确定在存储器装置54中是否存在足够的空间。若并非如此,则在过程框110中,处理器52删除先前的标记信号和/或相关联的增强现实内容。处理器52可以使用任何合适的算法来确定什么先前的标记信号和/或相关联的增强现实内容应当被删除。例如,增强现实装置12可以删除最早存储的标记信息和相关联的增强现实内容。作为另一示例,增强现实装置12可以删除与离增强现实装置的当前区域或位置最远的地理区域或位置对应的标记信息和相关联的增强现实内容。作为又一示例,增强现实装置12可以删除最不常用的标记信息和相关联的增强现实内容,因为,用户也许不太可能正返回到对应区域。处理器52然后返回到决策框108,以确定在删除先前的标记信号和/或相关联的增强现实内容之后是否存在足以存储标记信号和相关联的增强现实内容的存储空间。
在过程框112中,处理器52存储标记信号和相关联的增强现实内容。例如,处理器可以将标记信号和相关联的增强现实内容存储于存储器装置54中。
在过程框114中,处理器52针对与标记信号相关联的标记而扫描该区域。例如,在图1中,处理器52可以指导增强现实装置12的照相机24针对标记22(例如,窗框)而扫描第一区域14。
在决策框116中,处理器52确定标记是否已被识别。若并非如此,则处理器52在过程框114中继续针对标记而扫描该区域。一旦标记已被识别,在过程框118中,处理器52就输出与识别的标记相关联的增强现实内容。返回参考图1,当用户环顾第一区域14时,处理器52使用照相机24来扫描第一区域14,识别呈窗框的形式的标记22,并且将增强现实内容26以幻影的形式输出到增强现实装置12的显示器13。在一些实施例中,处理器52接收定位信息连同标记信号和指示在何处或如何输出增强现实内容的增强现实内容。例如,在图1中,处理器52可以接收定位信息连同指示标记22和增强现实内容26的标记信号,以在增强现实装置12上显示标记22(例如,窗框)内的增强现实内容26(例如,幻影)。以此方式,方法100可以动态地加载基于区域的增强现实内容26。
图4是说明根据本公开的实施例的用于用以促进动态地加载基于区域的增强现实内容的图2的增强现实内容管理服务器18的方法130的流程图。方法130可以由可以促进动态地加载基于区域的增强现实内容的任何合适的装置(诸如,增强现实内容管理服务器18的处理器66)实行。虽然方法130使用按具体顺序进行的步骤来描述,但应当理解,本公开预期到,所描述的步骤可以按与所说明的顺序不同的顺序实行,并且,某些所描述的步骤可以跳过或并非全部实行。在一些实施例中,方法130可以通过使用处理器(诸如,处理器66)来执行存储于有形非暂时性计算机可读介质(诸如,存储器装置68)中的指令而实现。
如所说明的,在过程框132中,处理器62从增强现实装置12接收信标相关信号。特别地,信标相关信号可以指示由信标发送并且由增强现实装置12接收的信标信号。在一些实施例中,处理器62可以改为从增强现实装置12接收信标信号本身(而非从信标信号推导的信标相关信号)。
在过程框134中,处理器62基于信标相关信号而确定增强现实装置12的地理区域。特别地,增强现实内容管理服务器18可以使用地理区域确定逻辑70来基于信标相关信号和地理区域数据库72(其存储使区域与信标相关的信息)而确定增强现实装置12的区域。
在过程框136中,处理器62确定该区域处的标记。特别地,增强现实内容管理服务器18可以使用标记确定逻辑74来基于在过程框134中确定的标记和标记数据库76(其存储使标记与区域相关的信息)而确定增强现实装置12的区域内的标记。
在过程框138中,处理器62确定与标记相关联的增强现实内容。特别地,增强现实内容管理服务器18可以使用内容确定逻辑78来确定与在过程框134中确定的标记和内容数据库80(其存储使增强现实内容与标记相关的信息)相关联的增强现实内容。
在过程框140中,处理器62然后将指示在过程框134中确定的标记的标记信号和在过程框138中确定的相关联的增强现实内容发送到增强现实装置12。以此方式,方法130可以使增强现实内容管理服务器18能够促进动态地加载基于区域的增强现实内容。
图5是说明根据本公开的实施例的用以对标记(例如,22)进行更新的用于图2的增强现实内容管理服务器18的方法150的流程图。方法150可以由可以对标记进行更新的任何合适的装置(诸如,增强现实内容管理服务器18的更新逻辑82和/或处理器66)实行。虽然方法150使用按具体顺序进行的步骤来描述,但应当理解,本公开预期到,所描述的步骤可以按与所说明的顺序不同的顺序实行,并且,某些所描述的步骤可以跳过或并非全部实行。在一些实施例中,方法150可以通过使用处理器(诸如,处理器66)来执行存储于有形非暂时性计算机可读介质(诸如,存储器装置68)中的指令而实现。
如所说明的,在过程框152中,更新逻辑82接收对地理区域内的标记进行更新的指示。该指示可以作为异步操作(例如,由于标记已被添加、移除或修改而触发)的一部分或作为同步操作(例如,起因于该区域内的标记的周期性更新而触发)的一部分而接收。作为示例,返回参考图1,更新逻辑82可以接收由于例如标记22已被移除而对第一区域14内的标记22(例如,窗框)进行更新的指示。
在过程框154中,更新逻辑82确定地理区域内的可用传感器。返回参考图1,更新逻辑82可以确定传感器84(例如,安全照相机)是第一区域14内的可用传感器。类似地,更新逻辑82可以确定增强现实装置12的照相机24是第一区域14内的可用传感器。
在过程框156中,更新逻辑82指导可用传感器针对地理区域内的标记而确定或捕获替换标记。替换标记可以是可以用于确定在何处并且如何输出相关联的增强现实内容的任何合适的标记。再者,作为示例,使用图1,如果窗框标记22已被移除,则更新逻辑82可以使用安全照相机传感器84来确定顶部轮廓线86应当用作替换标记。
在过程框158中,更新逻辑82利用替换标记来替换该标记。特别地,更新逻辑82可以对标记数据库76进行更新,以利用替换标记来替换先前的标记,并且对内容数据库80进行更新,以使先前与先前的标记相关联的增强现实内容与替换标记相关联。照此,可以使得标记数据库76关于区域内的标记是当前的,并且,可以使得内容数据库80关于增强现实内容与标记之间的关系是当前的。使用先前的示例,更新逻辑82可以对标记数据库76进行更新,以利用顶部轮廓线标记86来替换窗框标记22,并且对内容数据库80进行更新,以使增强现实内容26(例如,幻影)与顶部轮廓线标记86(代替先前相关联的窗框标记22)相关联。以此方式,方法150可以使增强现实内容管理服务器18能够在标记被添加、移除或修改时对标记进行更新。
虽然本公开中所阐明的实施例可能易受各种修改和备选形式的影响,但具体实施例已在附图中通过示例的方式示出并且已在本文中详细地描述。然而,应当理解,本公开不旨在限于所公开的特定形式。本公开将涵盖落入如由以下的所附权利要求定义的本公开的精神和范围内的所有修改、等同体以及备选方案。
本文中所提出并且要求保护的技术被引用并且应用于有实际性质的实质性对象和具体示例,所述实质性对象和具体示例可论证地改进本技术领域并且因此不是抽象的、无形的或纯理论的。而且,如果本说明书的末尾所附的任何权利要求包含指定为“用于[实行]……[功能]的部件”或“用于[实行]……[功能]的步骤”的一个或多个元素,则旨在这样的元素将根据35 U.S.C. 112(f)而解释。然而,对于包含以任何其它方式指定的元素的任何权利要求,旨在这样的元素将并非根据35 U.S.C. 112(f)而解释。
Claims (20)
1.一种增强现实系统,包括:
增强现实装置,其包括照相机、显示器以及控制器,其中,所述增强现实装置位于地理区域内;
一个或多个信标,其配置成将一个或多个信标信号发送到位于所述地理区域内的所述增强现实装置;
增强现实内容管理服务器,其配置成:
从所述增强现实装置接收一个或多个信标相关信号;
至少部分地基于所述一个或多个信标相关信号而确定标记和与所述标记相关联的增强现实内容,其中,所述标记位于所述地理区域内并且配置成能够由所述增强现实装置的所述照相机识别;以及
将指示所述标记的标记信号和所述增强现实内容发送到所述增强现实装置;
其中,所述增强现实装置配置成通信地耦合到所述一个或多个信标和所述增强现实内容管理服务器;
其中,所述增强现实装置的所述控制器包括处理器和存储器,其中,所述处理器在执行存储于所述存储器上的指令时配置成:
从所述一个或多个信标接收所述一个或多个信标信号,并且至少部分地基于所述一个或多个信标信号而将所述一个或多个信标相关信号发送到所述增强现实内容管理服务器;
从所述增强现实内容管理服务器接收所述标记信号和所述增强现实内容;
使用所述照相机来扫描所述地理区域;
识别所述地理区域内的所述标记;以及
响应于识别所述标记而在所述显示器上输出所述增强现实内容。
2.根据权利要求1所述的增强现实系统,其中,所述增强现实内容管理服务器包括地理区域确定逻辑,所述地理区域确定逻辑配置成从所述增强现实装置接收所述一个或多个信标相关信号,并且配置成至少部分地基于所述一个或多个信标相关信号而确定所述增强现实装置的所述地理区域。
3.根据权利要求2所述的增强现实系统,其中,所述地理区域确定逻辑通信地耦合到地理区域数据库,所述地理区域数据库配置成存储使多个地理区域与多个信标相关的信息。
4.根据权利要求2所述的增强现实系统,其中,所述增强现实内容管理服务器包括标记确定逻辑,所述标记确定逻辑配置成从所述地理区域确定逻辑接收所述增强现实装置的所述地理区域,并且配置成至少部分地基于所述增强现实装置的所述地理区域而确定所述标记。
5.根据权利要求4所述的增强现实系统,其中,所述标记确定逻辑通信地耦合到标记数据库,所述标记数据库配置成存储使多个标记与多个地理区域相关的信息。
6.根据权利要求5所述的增强现实系统,其中,所述增强现实内容管理服务器包括内容确定逻辑,所述内容确定逻辑配置成从所述标记确定逻辑接收所述标记,并且配置成至少部分地基于所述标记而确定所述增强现实内容。
7.根据权利要求6所述的增强现实系统,其中,所述内容确定逻辑通信地耦合到内容数据库,所述内容数据库配置成存储使多个增强现实内容与所述多个标记相关的信息。
8.根据权利要求7所述的增强现实系统,其中,所述内容数据库配置成存储所述多个增强现实内容。
9.根据权利要求7所述的增强现实系统,其中,所述处理器配置成:
接收对所述标记进行更新的指示;
确定位于所述地理区域内的可用传感器;
指导所述可用传感器确定所述地理区域内的替换标记;以及
利用所述替换标记来替换所述标记。
10.根据权利要求9所述的增强现实系统,其中,所述处理器配置成通过以下步骤来利用所述替换标记来替换所述标记:
在所述标记数据库中使所述替换标记与所述地理区域相关联;以及
在所述内容数据库中使所述增强现实内容与所述替换标记相关联。
11.一种增强现实装置,包括:
照相机;
显示器;
标记识别逻辑,其配置成使用所述照相机来识别地理区域内的标记;
内容输出逻辑,其配置成在所述显示器上输出增强现实内容;以及
控制器,其包括处理器和存储器,其中,所述处理器在执行存储于所述存储器上的指令时配置成:
从所述地理区域内的一个或多个信标接收一个或多个信标信号;
至少部分地基于所述一个或多个信标信号而将一个或多个信标相关信号发送到增强现实内容管理服务器;
至少部分地基于所述一个或多个信标相关信号而从所述增强现实内容管理服务器接收指示所述标记的标记信号和所述增强现实内容;
指导所述标记识别逻辑扫描所述地理区域并且识别所述地理区域内的所述标记;以及
指导所述内容输出逻辑响应于识别所述标记而在所述显示器上输出所述增强现实内容。
12.根据权利要求11所述的增强现实装置,其中,所述处理器配置成确定在所述存储器中是否存在足够的存储空间以将所述标记信号和所述增强现实内容存储于所述存储器中,并且配置成响应于确定在所述存储器中存在足够的存储空间而将所述标记信号和所述增强现实内容存储于所述存储器中。
13.根据权利要求12所述的增强现实装置,其中,所述处理器配置成响应于确定在所述存储器中不存在足够的存储空间而删除最早的先前存储的标记信号、最早的先前存储的增强现实内容或两者。
14.根据权利要求12所述的增强现实装置,其中,所述处理器配置成响应于确定在所述存储器中不存在足够的存储空间而删除与第二地理区域相关联的先前存储的标记信息、删除与所述第二地理区域相关联的先前存储的增强现实内容或两者,所述第二地理区域离所述增强现实装置的所述地理区域最远。
15.根据权利要求12所述的增强现实装置,其中,所述处理器配置成响应于确定在所述存储器中不存在足够的存储空间而删除最不常用的先前存储的标记信号、最不常用的先前存储的增强现实内容或两者。
16.一种有形非暂时性计算机可读介质,包括用于动态地加载基于区域的增强现实内容的指令,其中,所述指令在由处理器执行时引起所述处理器进行以下操作:
从地理区域内的一组信标接收一组信标信号;
将指示所述一组信标信号的一组信标相关信号发送到增强现实内容管理服务器;
至少部分地基于所述一组信标相关信号而从所述增强现实内容管理服务器接收指示所述地理区域内的一组标记的一组标记信号和与所述一组标记信号相关联的一组增强现实内容;
针对所述一组标记而扫描所述地理区域;以及
响应于识别所述地理区域内的所述标记而输出与所述一组标记中的标记相关联的所述一组增强现实内容中的增强现实内容。
17.根据权利要求16所述的有形非暂时性计算机可读介质,包括指令,所述指令引起所述处理器确定是否存在足够的存储空间以存储所述一组标记信号和所述一组增强现实内容。
18.根据权利要求17所述的有形非暂时性计算机可读介质,包括指令,所述指令引起所述处理器响应于确定存在足够的存储空间而存储所述一组标记信号和所述一组增强现实内容。
19.根据权利要求17所述的有形非暂时性计算机可读介质,包括指令,所述指令引起所述处理器删除与第二地理区域相关联的先前存储的标记信息、删除与所述第二地理区域相关联的先前存储的增强现实内容或两者。
20.根据权利要求19所述的有形非暂时性计算机可读介质,包括引起所述处理器进行以下操作的指令:在删除与所述第二地理区域相关联的所述先前存储的标记信息之后、在删除与所述第二地理区域相关联的所述先前存储的增强现实内容之后或两者,确定是否存在足够的存储空间以存储所述一组标记信号和所述一组增强现实内容,并且响应于确定存在足够的存储空间而存储所述一组标记信号和所述一组增强现实内容。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962843968P | 2019-05-06 | 2019-05-06 | |
US62/843968 | 2019-05-06 | ||
US16/418682 | 2019-05-21 | ||
US16/418,682 US11206505B2 (en) | 2019-05-06 | 2019-05-21 | Systems and methods for dynamically loading area-based augmented reality content |
PCT/US2020/031268 WO2020227189A1 (en) | 2019-05-06 | 2020-05-04 | Systems and methods for dynamically loading area-based augmented reality content |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113748402A true CN113748402A (zh) | 2021-12-03 |
Family
ID=73047356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080033924.5A Pending CN113748402A (zh) | 2019-05-06 | 2020-05-04 | 用于动态地加载基于区域的增强现实内容的系统和方法 |
Country Status (8)
Country | Link |
---|---|
US (2) | US11206505B2 (zh) |
EP (2) | EP3966666B1 (zh) |
JP (1) | JP2022531441A (zh) |
KR (1) | KR20220002654A (zh) |
CN (1) | CN113748402A (zh) |
CA (1) | CA3137754A1 (zh) |
SG (1) | SG11202111265SA (zh) |
WO (1) | WO2020227189A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11405769B2 (en) * | 2020-07-07 | 2022-08-02 | Verizon Patent And Licensing Inc. | Systems and methods for obtaining information associated with a product using short range wireless communication |
WO2022245765A1 (en) * | 2021-05-19 | 2022-11-24 | Snap Inc. | Beacons for localization and content delivery to wearable devices |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9488488B2 (en) | 2010-02-12 | 2016-11-08 | Apple Inc. | Augmented reality maps |
JP2013521576A (ja) | 2010-02-28 | 2013-06-10 | オスターハウト グループ インコーポレイテッド | 対話式ヘッド取付け型アイピース上での地域広告コンテンツ |
US9317133B2 (en) | 2010-10-08 | 2016-04-19 | Nokia Technologies Oy | Method and apparatus for generating augmented reality content |
US9511291B2 (en) | 2010-11-15 | 2016-12-06 | Bally Gaming, Inc. | System and method for enhanced augmented reality tracking |
JP5170223B2 (ja) * | 2010-12-07 | 2013-03-27 | カシオ計算機株式会社 | 情報表示システム、情報表示装置、情報提供装置、および、プログラム |
US9224166B2 (en) * | 2011-03-08 | 2015-12-29 | Bank Of America Corporation | Retrieving product information from embedded sensors via mobile device video analysis |
CN102843349B (zh) * | 2011-06-24 | 2018-03-27 | 中兴通讯股份有限公司 | 实现移动增强现实业务的方法及系统、终端及服务器 |
US9111383B2 (en) * | 2012-10-05 | 2015-08-18 | Elwha Llc | Systems and methods for obtaining and using augmentation data and for sharing usage data |
GB2507510B (en) * | 2012-10-31 | 2015-06-24 | Sony Comp Entertainment Europe | Apparatus and method for augmented reality |
US8922589B2 (en) * | 2013-04-07 | 2014-12-30 | Laor Consulting Llc | Augmented reality apparatus |
US9374438B2 (en) | 2013-07-29 | 2016-06-21 | Aol Advertising Inc. | Systems and methods for caching augmented reality target data at user devices |
US20150046296A1 (en) | 2013-08-12 | 2015-02-12 | Airvirtise | Augmented Reality Device with Global Positioning |
US9886162B2 (en) * | 2014-06-02 | 2018-02-06 | Qualcomm Incorporated | Device-provided tracking data for augmented reality |
WO2016005799A1 (en) | 2014-07-11 | 2016-01-14 | Yellow Pages Group Limited | Social networking system and method |
CN106575299A (zh) * | 2014-08-01 | 2017-04-19 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
GB201414609D0 (en) * | 2014-08-18 | 2014-10-01 | Tosas Bautista Martin | Systems and methods for dealing with augmented reality overlay issues |
WO2016031358A1 (ja) * | 2014-08-27 | 2016-03-03 | ソニー株式会社 | 表示制御装置、表示制御方法およびプログラム |
EP3186766A4 (en) * | 2014-08-28 | 2018-01-10 | RetailMeNot, Inc. | Reducing the search space for recognition of objects in an image based on wireless signals |
US20170243403A1 (en) * | 2014-11-11 | 2017-08-24 | Bent Image Lab, Llc | Real-time shared augmented reality experience |
WO2016077506A1 (en) * | 2014-11-11 | 2016-05-19 | Bent Image Lab, Llc | Accurate positioning of augmented reality content |
WO2016141373A1 (en) | 2015-03-05 | 2016-09-09 | Magic Leap, Inc. | Systems and methods for augmented reality |
WO2016145443A1 (en) * | 2015-03-12 | 2016-09-15 | Daniel Kerzner | Virtual enhancement of security monitoring |
US9565531B2 (en) | 2015-04-13 | 2017-02-07 | Frensee LLC | Augmented beacon and geo-fence systems and methods |
US9906909B2 (en) | 2015-05-01 | 2018-02-27 | Blazer and Flip Flops, Inc. | Map based beacon management |
JP6569452B2 (ja) * | 2015-10-08 | 2019-09-04 | 富士通株式会社 | 画像生成システム、画像生成プログラム及び画像生成方法 |
KR101800109B1 (ko) | 2016-02-16 | 2017-11-22 | 엔에이치엔엔터테인먼트 주식회사 | Iot 기기를 이용해서 증강 현실을 구현한 전장 온라인 게임 |
US10496694B2 (en) * | 2016-03-21 | 2019-12-03 | Hong Kong Applied Science and Technology Research Institute Company Limited | Rating and advising for selection of augmented reality markers |
US20170323482A1 (en) * | 2016-05-05 | 2017-11-09 | Universal City Studios Llc | Systems and methods for generating stereoscopic, augmented, and virtual reality images |
JP6916460B2 (ja) * | 2016-08-31 | 2021-08-11 | カシオ計算機株式会社 | オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム |
CN107979628B (zh) * | 2016-10-24 | 2020-04-21 | 腾讯科技(深圳)有限公司 | 获取虚拟物品的方法、装置及系统 |
KR20240033136A (ko) | 2016-12-05 | 2024-03-12 | 케이스 웨스턴 리저브 유니버시티 | 상호작용적 증강 현실 프리젠테이션들을 표시하기 위한 시스템들, 방법들 및 매체들 |
US20180374069A1 (en) * | 2017-05-19 | 2018-12-27 | Shelfbucks, Inc. | Pressure-sensitive device for product tracking on product shelves |
WO2019148154A1 (en) * | 2018-01-29 | 2019-08-01 | Lang Philipp K | Augmented reality guidance for orthopedic and other surgical procedures |
US20180345129A1 (en) | 2018-07-27 | 2018-12-06 | Yogesh Rathod | Display virtual objects within predefined geofence or receiving of unique code from closest beacon |
US10573057B1 (en) * | 2018-09-05 | 2020-02-25 | Citrix Systems, Inc. | Two-part context-based rendering solution for high-fidelity augmented reality in virtualized environment |
US10885721B2 (en) * | 2018-09-28 | 2021-01-05 | Jido Inc. | Method for detecting objects and localizing a mobile computing device within an augmented reality experience |
KR101975150B1 (ko) | 2018-10-12 | 2019-05-03 | (주)셀빅 | 디지털 콘텐츠 테마파크 운용 시스템 |
-
2019
- 2019-05-21 US US16/418,682 patent/US11206505B2/en active Active
-
2020
- 2020-05-04 WO PCT/US2020/031268 patent/WO2020227189A1/en unknown
- 2020-05-04 EP EP20727795.5A patent/EP3966666B1/en active Active
- 2020-05-04 SG SG11202111265SA patent/SG11202111265SA/en unknown
- 2020-05-04 JP JP2021565758A patent/JP2022531441A/ja active Pending
- 2020-05-04 CA CA3137754A patent/CA3137754A1/en active Pending
- 2020-05-04 CN CN202080033924.5A patent/CN113748402A/zh active Pending
- 2020-05-04 KR KR1020217039720A patent/KR20220002654A/ko unknown
- 2020-05-04 EP EP24180324.6A patent/EP4404575A3/en active Pending
-
2021
- 2021-11-17 US US17/528,870 patent/US12096307B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3966666B1 (en) | 2024-06-26 |
KR20220002654A (ko) | 2022-01-06 |
EP4404575A3 (en) | 2024-10-02 |
WO2020227189A1 (en) | 2020-11-12 |
US20200359160A1 (en) | 2020-11-12 |
US20220078577A1 (en) | 2022-03-10 |
US12096307B2 (en) | 2024-09-17 |
EP4404575A2 (en) | 2024-07-24 |
EP3966666A1 (en) | 2022-03-16 |
US11206505B2 (en) | 2021-12-21 |
JP2022531441A (ja) | 2022-07-06 |
CA3137754A1 (en) | 2020-11-12 |
SG11202111265SA (en) | 2021-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105608693B (zh) | 车载全景环视的标定系统及方法 | |
CN102647449B (zh) | 基于云服务的智能摄影方法、装置及移动终端 | |
CN107004028A (zh) | 可缩放3d地图绘制系统 | |
US12096307B2 (en) | Systems and methods for dynamically loading area-based augmented reality content | |
CN109374002A (zh) | 导航方法和系统、计算机可读存储介质 | |
US9991955B2 (en) | Mobile device, transmitting device, and guidance system | |
US20220272133A1 (en) | Method and system for supporting sharing of experiences between users, and non-transitory computer-readable recording medium | |
CN105467356B (zh) | 一种高精度的单led光源室内定位装置、系统及方法 | |
CN112020630A (zh) | 用于更新建筑物的3d模型的系统和方法 | |
CN103763470A (zh) | 一种便携式场景拍照装置 | |
KR101682705B1 (ko) | 알에프리더를 이용한 증강현실 제공 방법 | |
JP7287950B2 (ja) | 通信方法、通信装置、およびプログラム | |
CN108198099A (zh) | 增强现实的导游方法及系统、装置、服务器及计算机可读存储介质 | |
US20240007594A1 (en) | Method and system for supporting sharing of experiences between users, and non-transitory computer-readable recording medium | |
JP6743080B2 (ja) | 表示制御システム及び表示制御方法 | |
US11488330B2 (en) | Boundary maps for virtual reality systems | |
KR20190029412A (ko) | 네트워크를 통한 오프라인 매장 정보 제공 방법 및 이에 사용되는 관리 서버 | |
CN108012141A (zh) | 显示装置、显示系统和显示装置的控制方法 | |
CN117419713A (zh) | 基于增强现实的导览方法、计算设备及存储介质 | |
CN114647305B (zh) | Ar导览中的障碍物提示方法、头戴式显示设备和可读介质 | |
Villarrubia et al. | Hybrid indoor location system for museum tourist routes in augmented reality | |
JP2019075126A (ja) | 情報処理装置及びプログラム | |
CN110036406A (zh) | 收集系统、终端用程序以及收集方法 | |
JP2020173703A (ja) | 情報処理装置 | |
JP2016157208A (ja) | 位置情報管理方法、情報処理端末及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40065359 Country of ref document: HK |