CN112189218A - 基于场地的增强现实的方法和装置 - Google Patents

基于场地的增强现实的方法和装置 Download PDF

Info

Publication number
CN112189218A
CN112189218A CN202080000860.9A CN202080000860A CN112189218A CN 112189218 A CN112189218 A CN 112189218A CN 202080000860 A CN202080000860 A CN 202080000860A CN 112189218 A CN112189218 A CN 112189218A
Authority
CN
China
Prior art keywords
real
location
mobile device
world
anchor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080000860.9A
Other languages
English (en)
Inventor
史蒂文·逊·梁·托
布兰登·海曼
埃里克·莱-昂-特永
布赖恩·柯林斯
埃德加·琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN112189218A publication Critical patent/CN112189218A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)

Abstract

在一个总体方面，一种方法可以包括接收由用户使用移动设备捕获的真实世界场景的表示，其中，该真实世界场景是真实世界物理区域的部分。该方法可以包括基于真实世界场景的表示与真实世界物理区域的模型的部分的比较来将移动设备的位置与AR锚相关联。该方法可以包括基于移动设备的位置来触发移动设备内与真实世界物理区域的模型相关联的AR对象的显示。

Description

基于场地的增强现实的方法和装置
相关申请
本申请是2020年5月4日提交的标题为“METHODS AND APPARATUS FOR VENUEBASED AUGMENTED REALITY”的美国非临时专利申请No.15/929,470的继续并且要求该申请的优先权，该美国非临时专利申请No.15/929,470要求于2019年5月5日提交的美国临时专利申请No.62/843,495的优先权，这两个申请都通过引用被整体地并入在本文中。
本申请还要求于2019年5月5日提交的美国临时专利申请No.62/843,495的优先权，其全部内容通过引用被整体地并入在本文中。
背景技术
将增强现实(AR)对象放置在通过用户的移动设备查看的真实世界场景的图像中的适当场境中可能会很复杂。具体地说，可能难以实现将AR对象放置在显示器内的正确位置和/或定向上。用户的移动设备的全球定位系统(GPS)可以用于识别用户的位置，并且然后用户的位置可以用于将与对象相关联的AR对象放置在用户的显示器内。
发明内容
在一个总体方面，一种方法可以包括，接收由用户使用移动设备捕获的真实世界场景的表示，其中，真实世界场景是真实世界物理区域的部分。该方法可以包括基于真实世界场景的表示与真实世界物理区域的模型的部分的比较来将移动设备的位置与AR锚(anchor)相关联。该方法可以包括基于移动设备的位置来触发在移动设备内与真实世界物理区域的模型相关联的AR对象的显示。
附图说明
图1是在物理区域内的用户观看相比于AR锚而定位的AR对象的图。
图2是图示被配置成实现本文描述的概念的系统的框图。
图3A图示示例模型地图。
图3B图示图3B中所示的模型地图内的AR对象。
图3C图示图3A中所示的模型地图中的AR锚。
图4A图示移动设备到一个或多个AR锚的定位。
图4B图示基于移动设备的移动将移动设备的定位更新为AR锚。
图4C图示定位到AR锚的另一示例。
图5A和5B分别图示不具有AR对象和具有AR对象的真实世界场景。
图6A至图7B图示具有AR对象以用于寻路的真实世界场景。
图8是图示在图3C的模型地图内动态添加AR锚的图。
图9是图示在图3B的模型地图内动态添加AR对象的图。
图10和11图示发现和/或寻路的方法。
图12图示创建模型以及相关联的元素以用于发现和/或寻路的方法。
图13示出通用计算机设备和通用移动计算机设备的示例。
具体实施方式
难以实现将增强现实(AR)对象放置在通过用户的移动设备观看的真实世界场景的图像内的适当位置和/或定向。用户的移动设备的全球定位系统(GPS)可以用于识别用户的位置，并且然后用户的位置可以用于将与对象相关联的AR对象放置在用户的显示器内。但是，在一些情况下(例如，在多层建筑中)，GPS可能不可用和/或不够准确。例如，当设备在室内时，通常可能不会使用GPS来准确地定位设备方位(例如，准确到特定楼层)。另外，许多场地不向公众开放和/或可能没有被很好地记录。有关场地的一些信息可能不可靠，因为场地的所有者可能没有资源来维护有关场地的准确信息。只能使用昂贵的设备和/或专业技术来产生有关场地的信息。产生此类信息之后，其可能是相对静态的，并且很难修改或更新。在没有与场地相关联的准确的地图绘制、位置和/或定向信息的情况下，则应用将无法在设备的显示器内正确放置地点和/或事件中的AR对象。
本文所述的技术解决方案涉及多个感知信号的处理以显示增强现实内容(例如，AR对象)，用于例如在场地(例如，位置、物理空间、地区、区域)处进行寻路和/或发现。具体地，地点的准确定位和定向和/或事件信息使能够使用增强现实显示器，以与例如寻路和/或信息发现一起使用。在一些实施方式中，AR中的场境显示帮助用户在不熟悉的地点进行寻路和/或在外景地时发现事件或名胜古迹。
为了实现AR对象(也可以称为兴趣点(POI))的准确放置，会生成场地的比例准确的数字3D表示，并且可以经由AR锚将用户的位置和/或定向定位到比例准确的数字3D表示(例如，AR锚相对于原点具有固定位置，其中该原点是真实世界物理区域中的预定义的固定位置)。然后，可以将3D表示转换成用户设备的视图空间，并可以使用增强现实在真实世界内的适当场景中显示AR对象。在一些实施方式中，渲染的AR对象看起来被锚定到AR对象正指向、标明(label)等的物理元素上。
在一些实施方式中，物理标识(signage)可以用于促进解析位置和/或定向。定义存在于物理空间中的标志并将其放置在数字地图表示中，然后通过使用感知技术(例如，图像和/或文本辨识)来唯一识别这些标志。在这样的实施方式中，本文描述的方法和装置可能不需要操作员对空间进行3D地图绘制，而是可以依赖于标志被安置和定向的位置的平面图和信息。
本文所述的方法和装置具有优于使用例如GPS和Wi-Fi定位设备的现有地图绘制应用的技术优势。具体而言，本文描述的解决方案被配置成在GPS信号不可用时精确地定位用户设备(或在涉及内部空间的多个楼层时无法使用)，并且不需要额外的联网设备进行运行。本文所述的方法和装置也具有优于使用磁力计传感器来定向设备方向的优势(例如，磁力计传感器可能相对不准确，和/或可能受到局部磁场的损害)。本文描述的方法和装置具有优于现有的增强现实平台技术和优于现有的辨识和读取文本的机器学习技术的优势。在一些实施方式中，本文描述的方法和装置允许场地的所有者更新关于场地的信息(例如，AR对象和物理对象的位置)，同时不需要操作员扫描空间。本文描述的方法和装置具有优于主要依靠GPS的产品的优势，该主要依靠GPS的产品在GPS不可用时无法准确地定位用户设备的方位和/或定向。
图1是通过移动设备110观看AR对象P的真实世界物理区域10(例如，真实世界场地)内的用户100的图。用户100的位置(例如，位置和/或定向和/或距离和定向)相比于AR锚B的位置被定位，AR锚B相对于原点O具有固定的位置。原点O是位于真实世界物理区域10内的固定位置，该真实世界物理区域10以1:1比例模型或表示被建模。真实世界物理区域10的1:1比例模型(例如，模型地图)可以被称为全比例模型(例如，比例准确的模型或表示)。AR对象P在真实世界物理区域10的全比例模型内具有固定位置。除非另外指出，否则对模型的引用被认为与对全比例模型的引用相同。
在一些实施方式中，位置可以包括在X、Y、Z坐标中的位置，并且定向可以包括方向定向(例如，对象或用户所面向的方向或角度、偏航、俯仰和滚转)。因此，用户(例如，用户100)和/或AR对象(例如，AR对象P)可以位于特定的X、Y、Z位置处，并且面向特定方向作为在该X、Y、Z位置处的定向。
利用用户100的移动设备110到AR锚B的定位(可以称为用户100的定位和/或移动设备110的定位)、原点O、真实世界物理区域10的全比例模型以及AR对象P在真实世界物理区域10的全比例模型内的固定位置的组合，将AR对象P正确地显示在移动设备110内(例如，在其显示屏上)。在一些实施方式中，原点O可以是AR锚B和真实世界物理区域10的全比例模型可以被定向(例如，固定地束缚(tie)，约束(bound))到的共同原点(例如，锚)。另外，诸如AR对象P的AR对象也可以被包括在真实世界物理区域10的全比例模型内(在固定位置和定向(例如，X、Y和Z坐标定向))。因此，当移动设备110被定位到AR锚B时，原点O可以被用来协调(reconcile)(例如，平移、变换)AR对象到(用户100的)移动设备110的位置和/或定向。
例如，在一些实施方式中，用户100可以使用移动设备110的相机来捕获来自真实世界物理区域10的真实世界场景的表示。真实世界场景可以是相机(例如，移动设备110的相机)捕获到的真实世界物理区域10的部分。可以基于真实世界场景的表示与真实世界物理区域10的全比例模型的部分的比较(例如，特征匹配)，将移动设备110的位置(和/或定向)与AR锚B相关联。在一些实施方式中，定位可以包括确定移动设备110相对于AR锚B的位置和定向。在一些实施方式中，位置和定向可以包括距AR锚B的距离以及移动设备110相对于AR锚B正在面向的方向。因为AR锚B相对于原点O具有固定的位置，并且因为真实世界物理区域10相对于原点O具有固定的位置，可以确定移动设备110相对于真实世界物理区域10的位置和定向。因此，可以通过AR对象P在真实世界物理区域10内具有固定的位置和定向的方式来确定移动设备110相对于AR对象P的位置和定向。换言之，通过利用AR锚B的定位，可以经由原点O确定真实世界物理区域10的全比例模型和用户100周围的AR对象P的定向。然后，可以在移动设备110内在正确的位置和定向处向用户100显示AR对象R。移动设备110的位置和定向的变化可以通过传感器(例如，惯性测量单元(IMU)、相机等)被确定，并可以被使用以更新AR对象P(和/或其他AR对象)的位置和/或定向。
图2是图示根据示例实施方式的被配置成实现本文所描述的概念(例如，图1中所示的通用示例)的系统200的框图。系统200包括移动设备110和AR服务器252。图2图示移动设备110和AR服务器252的细节。使用系统200，可以利用移动设备110到AR锚的定位、原点、真实世界物理区域的全比例模型以及AR对象在真实世界物理区域的全比例模型内的固定位置和定向的组合来在移动设备110的显示设备208内显示一个或多个AR对象。将在图1以及其附图的背景中描述系统200的操作。
移动设备110可以包括处理器组件204、通信模块206、传感器系统210和存储器220。传感器系统210可以包括各种传感器，诸如相机组件212、惯性运动单元(IMU)214以及全球定位系统(GPS)接收器216。传感器系统210的实施方式还可以包括其他传感器，例如包括光传感器、音频传感器、图像传感器、距离和/或接近传感器、诸如电容传感器的接触传感器、定时器和/或其他传感器和/或传感器的不同组合。移动设备110包括可以利用传感器系统210的一个或多个部分的设备定位系统242。
移动设备110还包括显示设备208和存储器220。应用222和其他应用240被存储在存储器220中并且可以从存储器220访问。应用222包括AR锚定位引擎224、地图协调引擎225、AR对象检索引擎226、地图和锚创建引擎227、AR锚呈现引擎228和用户界面引擎230。在一些实施方式中，移动设备110是诸如智能手机、平板电脑等的移动设备。
系统图示AR服务器252的细节，该AR服务器252包括存储器260、处理器组件254和通信模块256。存储器260被配置成存储模型地图30(也称为模型)、AR锚A和AR对象P。
尽管将AR服务器252和移动设备110中所示的处理块图示为包括在特定设备中，但是这些处理块(以及与其相关的处理)可以包括在不同的设备中，在设备之间划分等。例如，地图协调引擎225的至少部分可以被包括在AR服务器252中。
存储在存储器中的模型地图30可以是真实世界物理区域10的三维(3D)表示(例如，具有深度数据)。在一些实施方式中，模型地图30可以是黑色并且白色或彩色图像(例如，带有深度数据)。在一些实施方式中，模型地图30可以是全景图或可以包括全景图(例如，具有深度数据)。作为示例，全景图可以包括在广角上——例如，在至少120度上、在至少180度上或甚至在360度上——延伸的图像或图像的集合(在一个位置处捕获到的)。在一些实施方式中，模型地图30可以是点云表示，其包括表示真实世界物理区域10内的特征(例如，边缘、密度、建筑物、墙壁、标识、平面、对象、纹理等等)的3D空间中的点(例如，点云)。如上所述，模型地图30可以是真实世界物理区域10的1:1全比例地图。模型地图30(和真实世界物理区域10)可以是场地(例如，公园、城市的部分、建筑物(或其部分)、博物馆、音乐厅等)。
图3A图示与真实世界物理区域11相关联的示例模型地图30的表示。图3A中示出的表示是包括建筑物、街道、树木等的模型地图30的二维(2D)俯视图。图3A中示出模型地图30的原点O，并且原点O可以用作模型地图30的相对坐标系的原点。换句话说，模型地图30可以具有基于原点O的坐标系，而不是GPS坐标系或被束缚到地球上真实世界物理区域11的实际位置的其它绝对坐标系。然而，模型地图30内表示的距离可以是真实世界的距离(例如，米)。原点O可以是在模型地图30中选择或识别的任意点。然而，原点O可以用于与其他坐标系的协调(例如，坐标平移、坐标变换)。
在一些实施方式中，可以通过使用相机组件212以及地图和锚创建引擎227捕获真实世界物理区域11的视频来创建模型地图30。在一些实施方式中，作为准确地缩放的(例如，真实世界距离(例如，米、厘米)和比例)的数字地图的模型地图30可以从位置的数字地图、架构图、场地(例如，室内位置、事件空间之外的计划建筑等)的平面图(例如，技术平面图)等等创建。在一些实施方式中，可以使用(例如，至少部分地使用)2D地图来生成3D模型地图30。在一些实施方式中，可以经由移动设备110并且走过该区域快速地(例如，在一小时内)创建模型地图30。这与需要昂贵且复杂的具有专用捕获数据的图像捕获设备的方法形成对比。可以在捕获模型地图30之后将其存储在AR服务器252中。
AR对象P1-P9(例如，兴趣点)被覆盖在图3B中所示的模型地图30上。AR对象P1-P9(可以统称为AR对象P)在模型地图30内具有固定位置(例如，X、Y、Z位置)和定向(例如，方向)。AR对象P具有相对于原点O的固定位置和定向(如虚线所图示)。在一些实施方式中，模型地图30包括与地点、事件、位置等有关(例如，与其相关联、为其设计、识别)的AR对象P。
在一些实施方式中，AR对象P中的至少一个可以被配置成随着移动设备110移动用户移动而移动，或者即使移动设备110不移动也可以移动。例如，AR对象P中的诸如用于引导用户的导航引导(例如，寻路箭头)的一个AR对象P可以在移动设备110的位置和定向附近(例如，在其前方)具有起始点。在移动设备110移动时，导航引导还可以移动(例如，旋转，在用户前方移动)以将用户导航到所预期的位置。
在一些实施方式中，AR对象P每个都可以是模型地图30的坐标空间内的固定位置和方位。AR对象P每个都可以独立于真实世界的坐标空间(例如，纬度和经度，GPS坐标空间)。因为AR对象P在模型地图30的坐标空间内处于固定的位置和定向，所以AR对象P在全比例的位置和定向处。换句话说，AR对象P可以均在模型地图30的坐标空间内处于固定的位置和定向。在一些实施方式中，AR对象P可以相对于原点O处于固定的位置和定向处(以真实世界中的距离)。在一些实施方式中，AR对象P可以在独立于模型地图30的坐标空间的坐标空间(但是具有原点O作为公共原点)内。
在一些实施方式中，AR对象P可以是标签、3D模型、交互式沉浸式模型等。在一些实施方式中，AR对象P可以被放置在模型地图30内。在一些实施方式中，可以将AR对象P放置在模型地图30内，以促进真实世界物理区域11内使用AR对象P进行发现和/或寻路。
AR锚A1-A3被覆盖在图3C中所示的模型地图30上。还示出AR对象P。AR锚A1-A3(可以统称为AR锚A)在模型地图30内具有固定位置(例如，X、Y、Z位置)和定向(例如，方向)。AR锚P具有相对于原点O的固定位置和定向(如虚线所图示的)。如前所述，原点O可以是任意选择的原点。
AR锚A(可以均是唯一)可以均是模型地图30的坐标空间内的固定位置(和/或定向)。因为AR锚A在模型地图30的坐标空间内的固定的位置(和/或定向)处，所以AR锚A处于全比例位置(和/或定向)处。AR锚A可以均是模型地图30的坐标空间内的固定位置(和/或定向)。在一些实施方式中，AR锚P可以相对于原点O处于固定位置(和/或定向)处。在一些实施方式中，AR锚P可以在独立于模型地图30的坐标空间的坐标空间内。在一些实施方式中，至少每个AR锚P具有在模型地图30内的位置(没有定向)。
AR锚A可以用于将用户100(例如，用户的移动设备110)定位到模型地图30。AR锚可以被认为是AR激活标记。可以创建AR锚A，使得可以将用户的移动设备110定位到AR锚A中的一个或者多个。例如，AR锚A可以是与具有与全比例模型地图30对应的真实世界物理区域11的位置(例如，点和/或区域)相关联的图像和/或表示。在一些实施方式中，AR锚A(类似于模型地图30)可以是点集(例如，点云)，其表示模型地图30内位置(例如，点和/或区域)处或附近的特征(例如，边缘、密度、建筑物、墙壁、标识、平面、对象、纹理等)。在一些实施方式中，AR锚A可以是与模型地图30内的位置相关联的球形图像(例如，彩色图像)或全景图。在一些实施方式中，AR锚A中的一个或者多个可以是内容项。在一些实施方式中，AR锚A可以是与模型地图30内的位置相关联的一个或多个特征。
因为AR锚A可以是例如与模型地图30内的位置(例如，点和/或区域)相关联的图像或表示，所以每个AR锚A可以被认为具有它们自己的独立的坐标系(而不是统一的坐标系)。在一些实施方式中，AR锚A可以是关于AR锚A(并且独立于其他坐标系)的坐标空间的部分。AR锚A可以均独立于真实世界的坐标空间(例如，纬度和经度、GPS坐标空间)。但是，与AR锚A相关联的位置可以(以真实世界距离)是关于原点O的。换句话说，可以使用具有与原点O共同的原点的坐标空间定义AR锚。
在一些实施方式中，可以通过在用户100(握持移动设备110)物理地站立在真实世界物理区域11内的点和/或区域时捕获特征(例如，图像或图像集合(例如，视频)、全景图)来创建AR锚A中的一个或者多个。可以使用地图和锚创建引擎227执行AR锚A的创建。然后可以将捕获到的特征作为AR锚A映射到全比例模型地图30内的位置(例如，与位置相关联的特征集)。此信息可以存储在AR服务器252中。
在一些实施方式中，模型地图30内的AR锚A中的一个或者多个可以包括将被用作AR激活标记的唯一可识别的标志(例如，物理标志)。在某些限制下，标志可以包括文本、QR、定制设计的视觉扫描代码等。在一些实施方式中，AR锚A可以是通过例如在模型地图30内的位置和/或定向连接的唯一可识别的物理标志。真实世界物理区域中的物理标识可以用于精确地校准移动设备110的位置和/或定向。
如前所述，在一些实施方式中，模型地图30、每个AR锚A和AR对象P与不同(例如，不同和独立)的坐标空间相关联或在该坐标空间中被定义。因此，可以动态地更新这些元素中的每一个(模型地图30、AR锚A、AR对象P)，而不会不利地影响其他元素。例如，可以以期望的方式修改(例如，更新、删除、改变)AR锚A和/或AR对象P中的一个或多个。结合图8和图9讨论关于动态更新的更多细节。由于这些坐标空间的独立性质，AR对象P相对于移动设备110的位置和定向通过到模型地图30(和原点O)以及移动设备110在使用时被定位到的AR锚A的共同纽带被解析(例如，平移、变换)。即使在设置期间中捕获的数据不完整、不准确等情况下，此系统和方法也可以准确运行。这与可能需要在设置期间的完整且非常准确的统一数据捕获的其他系统可能形成对比。
再次参考图2，AR锚定位引擎224可以被配置成基于真实世界场景的表示与真实世界物理区域的全比例模型地图30的部分的比较(例如，特征的匹配)来确定移动设备110的位置。该比较可以包括通过移动设备110捕获的特征(例如，边缘、密度、建筑物、墙壁、标识、平面、对象、纹理等)与例如包括在模型地图30中或在模型地图30中表示的特征的比较。在一些实施方式中，比较可以包括通过移动设备110捕获的图像的部分与和模型地图30相关联的图像的部分的比较。
相机组件212可以用于从移动设备110(和用户100)周围的真实世界物理区域捕获诸如真实世界场景的物理空间的图像或视频，用于定位目的。相机组件212可包括一个或多个相机。相机组件212还可包括红外相机。在一些实施方式中，来自真实世界物理区域10的真实世界场景的表示(例如，图像)可以由用户100使用移动设备110的相机组件212相机来捕获。真实世界场景的表示可以是真实世界物理区域10的部分。在一些实施方式中，相机组件212捕获的特征(例如，图像)可以被用于对于存储在AR服务器252的存储器160中的AR锚264之一定位移动设备110。
基于特征的比较，AR定位引擎224可以被配置成相对于AR锚A中的一个或多个确定移动设备110的位置和/或定向。通过对如通过移动设备110观看的那样的图像进行比较，可以相比于AR锚A的位置来定位移动设备110的位置(和/或定向)。具体而言，例如，由移动设备110的相机捕获的图像可以被用于确定相对于AR锚A的移动设备110的位置和定向。
定位的示例在图4A中被图示。如图4A中所示，用户100位于位置C1处。为了解释的目的并且通过示例，模型地图30内的用户100的位置在图4A中示出。但是，实际上，用户100位于与模型地图30相关联的真实世界物理区域11中，并且仅在图4A内表示。使用移动电话110，用户100正在使用移动电话110来捕获真实世界物理区域11内的区域(例如，场景)的图像。可以将该区域(例如，场景)的捕获图像(作为示例)与模型地图30比较以确定用户的位置C1和用户在该位置C1的定向。位置和定向可以包括确定用户100距AR锚A2的距离D1以及用户面向的方向U，其是朝向建筑物4且在AR锚A2的左侧。AR锚A2可以与图像捕获相关联，该图像捕获可以与沿着方向U的移动设备110的捕获进行比较。基于对沿着方向U的捕获和与AR锚A2相关联的捕获的比较，AR锚定位引擎224可以确定移动设备110关于AR锚A2处于距离D1(和位置C1)处并且面向方向U。因为AR锚A2关于原点O具有固定的位置，并且因为模型地图30内表示的真实世界物理区域11相对于原点O具有固定的位置，所以可以确定相对于真实世界物理区域11的移动设备110的位置和定向。
在一些实施方式中，可以基于用户的移动来更新移动设备110到AR锚A的定位。例如，如果用户从图4A中的位置C1向图4B中的位置C2移动，AR定位引擎224可以被配置成，当用户移向位置C2并且远离AR锚A2时确定移动设备110相对于AR锚A1的位置和/或定向。在此示例中，当处于位置C2处时，移动设备110的位置相比AR锚A2更靠近AR锚A1。移动设备110与AR锚A1相距距离D2(并且相对于AR锚A1面向方向)。
定位的更新可以促进AR对象P在用户100的移动设备110的显示器内的显示准确性。当移动设备110在真实世界物理区域(与模型地图30相对应)内移动时，由于传感器系统210中固有的漂移，用户的位置可能不准确。相比于AR锚A动态更新移动设备110的位置，可以减少或消除由于漂移引起的不准确性。
在图4C中图示定位的另一示例，其中移动设备110捕获墙壁的拐角的部分和绘画402的部分(例如，建筑物内部、建筑物的(例如，多个楼层中的)特定楼层上的建筑物内部)。捕获到的区域被示出为区域40。此捕获到的区域可以被用于将移动设备110定位到AR锚E1，该AR锚E1先前已从不同角度捕获(例如，由另一移动设备捕获)，并且包括重叠区域42，如通过点虚线所图示。具体地，可以将捕获到的区域40的特征与和AR锚E1相关联的捕获到的区域42的特征进行比较，以将移动设备110定位到AR锚E1。
在一些实施方案中，AR定位引擎224可以被配置成通过尝试相比于AR锚A中的一个以上(例如，全部)定位来确定移动装置110相对于AR锚A中的一个或多个的位置和/或定向。在一些实施方式中，当用户在给定时间(或在时间窗口内)位于指定位置(或区域)时，仅选择一个AR锚A进行定位。可以选择最佳匹配的AR锚A以进行定位。在一些实施方式中，最佳匹配可以是最接近移动设备110的AR锚A。在一些实施方式中，最佳匹配可以是具有与模型地图30相匹配的最多特征的AR锚A。在一些实施方式中，AR锚定位引擎224确定针对所辨识的AR锚A的置信度得分。与如果确定了较低置信度得分相比，较高的置信度得分可以指示来自图像的特征(例如，图像、表示、提取的文本、条形代码、QR代码)更可能与所确定的AR锚A相关联。
即使在定位在AR锚A之一之后，移动设备110在物理真实世界中的精确位置和定向也可能未知。仅已知移动设备110相对于AR锚A(并且通过AR锚A在模型地图30内)的相对位置和定向。移动设备110对特征(例如，图像)信息的专门(ad-hoc)捕获被用于确定移动设备110的相对位置。可能需要进一步的协调(例如，与移动地图30)以确定移动设备110相对于AR对象P的位置和定向。
在一些实施方式中，基于从存储器260或外部计算设备接收到的该物理空间的表示，AR定位引擎224还可以使用相机组件212捕获到的图像来确定移动设备110在诸如内部空间(例如，建筑物的内部空间)的物理空间内的位置和定向。在一些实施方式中，物理空间的表示可以包括物理空间的视觉特征(例如，从物理空间的图像提取的特征)。该表示还可以包括与可以由视觉定位系统用来基于物理空间的一个或多个图像来确定物理空间内的位置和/或方位的那些特征相关联的位置确定数据。该表示还可以包括物理空间内的至少一些结构的三维模型。在一些实施方式中，表示不包括物理空间的三维模型。
在一些实施方式中，AR定位引擎224可以使用多个感知信号(来自传感器系统210中的一个或多个)来唯一地识别标识。在一些实施方式中，这些包括但不限于：图像辨识和跟踪、文本辨识和跟踪、AR跟踪定向点、GPS方位、Wifi信号、QR代码、定制设计的视觉扫描代码等。在一些实施方式中，AR锚定位引擎224识别标识以用于定位。在一些实施方式中，与模型地图30相关联的唯一可识别的标识可以与唯一可识别的物理标志相对应。在一些实施方式中，AR锚定位引擎224识别图像内的一个或多个代码，诸如条形代码、QR代码或另一种类型的代码。然后，可以将代码映射到AR锚A。在一些实施方式中，数字和物理表示的映射允许对移动设备110进行精确定位。
在用户100的移动设备110已经被定位到AR锚A之后，地图协调引擎225被配置成协调模型地图30、AR对象P和AR锚A的坐标空间。在一些实施方式中，地图协调引擎225被配置成基于共同原点O协调模型地图30、AR对象P和AR锚A的坐标空间。
例如，可以基于移动设备110到AR锚A中的至少一个的定位来确定AR对象P(在模型地图30内具有固定的位置和定向)相对于移动设备110的位置和定向，所述AR锚A中的至少一个具有到原点O的固定关系以及在模型地图30内的固定关系。换句话说，通过到模型地图30(和原点O)以及移动设备110被定位到的AR锚A的共同纽带来解析(例如，平移、变换)AR对象P相对于移动设备110的位置和定向。通过这样做，即使当移动设备110在真实世界物理区域(和对应的模型地图30)内移动时，也可以基于移动设备110的位置和定向来在移动设备110内显示AR对象P中一个或者多个。
例如，如图4C中所示，可以通过在由模型地图30表示的真实世界物理区域11内具有固定位置和定向的AR对象P6来确定移动设备110相对于AR对象P6的位置和定向。换句话说，通过利用AR锚A2进行定位，可以经由原点O来确定真实世界物理区域11的全比例模型的定向以及用户100周围的AR对象P6的位置和定向。然后，AR对象P6可以在移动设备110内显示给用户100。例如，如图4A中所示，移动设备110(经由用户100)面向如通过利用AR锚A2的定位过程所确定的方向U，并且AR对象P6可以基于方向U被显示在移动设备110的显示设备208内。相应地，AR对象P的位置和定向如通过到模型地图30(和原点O)和移动设备110被定位到的AR锚A的共同纽带所解析(例如，变换、平移)的那样被显示在移动设备110内。
移动设备110的位置和定向的改变可以通过传感器(例如，惯性测量单元(IMU的)、相机等)被确定，并且可以被用于更新AR对象P6(和/或其他AR对象P1-P5、P7-P9)的位置和/或定向。例如，如果移动设备110被移动到与方向U不同的方向，则可以在移动设备110的显示设备208内相应地修改AR对象P6的显示。
再次参考图2，AR对象检索引擎226可以被配置成从AR服务器252中检索一个或者多个AR对象P。例如，AR对象检索引擎226可以基于由地图协调引擎225执行的AR对象P、模型地图30以及AR锚A的坐标空间的协调来检索模型地图30内的AR对象P。
AR对象呈现引擎228在移动设备110上呈现一个或多个AR对象P或使一个或多个AR对象P呈现在移动设备110上。例如，AR对象呈现引擎228可以使用户界面引擎230生成包括来自一个或多个AR对象P的信息或内容的用户界面以由移动设备110来显示。在一些实施方式中，AR对象呈现引擎228由检索一个或多个AR对象P的AR对象检索引擎226触发。然后AR对象呈现引擎228可以触发显示设备208以显示与一个或多个AR对象P相关联的内容。
用户界面引擎230可以被配置成生成用户界面。用户界面引擎230还可以使移动设备110显示所生成的用户界面。所生成的用户界面可以例如显示来自AR对象P中的一个或者多个的信息或内容。在一些实施方式中，用户界面引擎230生成包括多个用户可致动的控件的用户界面，每个控件与AR对象P中的一个或多个相关联。例如，用户可以致动用户可致动控件中的一个(例如，通过触摸触摸屏上的控件，使用鼠标或另一输入设备单击该控件或以其他方式致动该控件)。
在图5B中示出在真实世界场景500内显示的AR对象501的示例。AR对象501可以被存储在AR服务器252处。在图5A中示出真实世界场景500而没有AR对象501。
在图6A和图6B中分别示出在真实世界场景610、611内显示的AR对象601和602的示例。具体地，AR对象601和602与寻路有关。这样的AR对象601、602可以被存储在AR服务器252中并且可以从AR服务器252访问。
图7A和7B图示与AR对象701至703相关联的另外的真实世界场景710、711，用于在建筑物内(例如，建筑物的特定楼层)进行寻路。在此示例实施方式中，随着用户移动可以更新AR对象701(指向方向的箭头)、702(目的地标记)，直到用户已经到达通过AR对象703所示的位置为止。AR对象701至703可以被存储在AR服务器252中并且从AR服务器252访问。
图8是图示在模型地图30内动态添加AR锚的图。具体地，在此示例中，将AR锚A4添加到AR锚A的集合。甚至在其他AR锚A已被创建(例如，展出(curate))并用于发现和寻路之后，AR锚A4可以被添加到对于模型地图30的特定位置。AR锚A可以用于进一步定位并且可以用于识别和显示AR对象P。
能够动态添加AR锚作为单独的定位点避免了必须重新创建真实世界的全面、完整和最终模型，而其他系统可能需要这样做。附加定位AR锚可以被快速添加并被用于改进系统的处理并定位用户100。
图9是图示在模型地图30内动态添加AR锚的图。具体地，在此示例中，AR对象P10被添加到AR对象P的集合。甚至在其他AR对象P10已经被创建(例如，展出)并且用于发现和寻路之后也可以将AR对象P10添加到模型地图30的特定位置。在一些实施方式中，一个或多个AR对象P也可以被移动。
能够将AR对象动态地添加到模型地图30使更新AR世界方便。附加AR对象可以快速被动态地添加并被用于改进AR体验而无需重新创建模型的所有方面。
图10图示如本文所述的发现和/或寻路的方法。如图10中所示，该方法包括(例如，通过图2中所示的AR锚定位引擎224)接收使用移动设备(例如，由用户)捕获到的真实世界场景的表示(块1010)。真实世界场景可以是真实世界物理区域(例如，场地)的部分。真实世界场景的捕获可以由至少图2中所示的传感器系统210执行。该方法包括基于对真实世界场景的表示与真实世界物理区域的模型的部分的比较将移动设备的位置与AR锚相关联(块1020)。位置的关联(例如，定位)可以由例如图2中所示的AR锚定位引擎224来执行。该方法还包括基于移动设备的位置来触发与移动设备内的真实世界物理区域的模型相关联的AR对象的显示(块1030)。该显示可以由例如图2中所示的AR对象检索引擎226、AR呈现引擎228和用户界面引擎230中的一个或多个来触发。
图11图示如本文所述的发现和/或寻路的方法。如图10中所示，该方法包括，接收由移动设备捕获的真实世界场景的表示，该真实世界场景是真实世界物理区域的部分(块1110)。真实世界场景可以是真实世界物理区域(例如，场地)的部分。真实世界场景的捕获可以由至少图2中所示的传感器系统210执行。该方法包括基于对真实世界场景的特征与真实世界物理区域的模型地图的特征的比较来利用来自多个AR锚的AR锚定位移动设备(块1120)。位置的关联(例如，定位)可以由例如图2中所示的AR锚定位引擎224执行。该方法还包括基于模型内AR对象的固定位置和模型内AR锚的固定位置来识别AR对象相对于移动设备的位置和定向(块1130)。识别可以由例如图2中所示的地图协调引擎225或AR对象检索引擎226中的一个或多个来执行。
图12图示如本文所述的用于发现和/或寻路的创建模型的方法以及相关联的元素。流程图元素可以由图2中所示的地图和锚创建引擎227执行。
该方法可以包括捕获与真实世界物理区域相关联的第一特征作为模型(块1210)，以及将AR对象与模型内的固定位置相关联(块1220)。在一些实施方式中，AR对象可以与模型内的固定位置和固定定向相关联。该方法可以包括捕获与和真实世界物理区域的部分相对应的真实世界位置相关联的第二特征(块1230)，以及将捕获到的第二特征与模型中的与真实世界位置相对应的位置相关联作为AR锚(块1240)。在一些实施方式中，可以在图像或点云中捕获一个或多个特征。
再次参考图2，IMU 214可以被配置成检测移动设备110的运动、移动和/或加速度。IMU 214可以包括各种不同类型的传感器，诸如，例如加速度计、陀螺仪、磁力计和其他此类传感器。可以基于由IMU 214或GPS接收器216提供的数据来检测和跟踪移动设备110的定向。
GPS接收器216可以接收由GPS卫星发射的信号。信号包括卫星的时间和方位。基于从数个(例如，至少四个)卫星接收信号，GPS接收器216可以确定移动设备110的全球位置。
其他应用240包括在移动设备110上安装或以其它方式可用于在移动设备110上的执行的任何其他应用。在一些实施方式中，应用222可以使其他应用240中的一个被启动。
设备定位系统242确定移动计算设备202的方位。设备定位系统242可以使用传感器系统210以在全球范围内或物理空间内确定移动计算设备202的位置和定向。
AR锚定位引擎224可以包括可以辨识图像内的至少一些类型的实体的机器学习模块。例如，机器学习模块可以包括神经网络系统。神经网络是机器学习中使用的计算模型，并且包括由具有加权重的连接的层中组织的节点。训练神经网络使用训练示例，每个示例都是输入和期望的输出，通过一系列迭代回合来确定层之间的连接的权重值，其增加神经网络为给定输入提供期望输出的可能性。在每个训练回合期间，将调整权重以解决错误的输出值。一旦被训练，神经网络可用于基于提供的输入来预测输出。
在一些实施方式中，神经网络系统包括卷积神经网络(CNN)。卷积神经网络(CNN)是其中神经网络的至少一层是卷积层的神经网络。卷积层是其中基于对先前层的值的子集应用核函数来计算层的值的层。训练神经网络可以涉及基于训练示例来调整核函数的权重。通常，使用相同的核函数来计算卷积层中的每个值。因此，在训练卷积层时必须学习的权重要比在神经网络中的完全连接层(例如，将层中的每个值作为先前层中每个值的独立调整的加权重的组合来计算的层)少得多。因为卷积层中的权重通常较少，所以与等效的全连接层相比，训练和使用卷积层可能需要较少的存储器、处理器周期和时间。
通信模块206包括用于与诸如AR服务器252的其他计算设备进行通信的一个或多个设备。通信模块206可以经由诸如网络290的无线或有线网络进行通信。AR服务器252的通信模块256可以类似于通信模块206。网络290可以是互联网、局域网(LAN)、无线局域网(WLAN)和/或任何其他网络。
显示装置208可以例如包括LCD(液晶显示器)屏幕、LED(发光二极管)屏幕、OLED(有机发光二极管)屏幕、触摸屏或用于向用户显示图像或信息的任何其他屏幕或显示器。在一些实施方式中，显示设备208包括投光器，该投光器被布置成将光投射到用户的眼睛的一部分上。
存储器220可以包括一个或多个非暂时性计算机可读存储介质。存储器220可以存储移动设备110可用来实现本文描述的技术的指令和数据，诸如基于捕获到的图像生成视觉内容查询，传输视觉内容查询，接收对视觉内容查询的响应，并呈现视觉内容查询的响应中识别的数字补充。AR服务器252的存储器260可以类似于存储器220，并且可以存储可用于实现AR服务器252的技术的数据指令。
处理器组件204和/或处理器组件254包括一个或多个设备，所述设备能够执行诸如由存储器220存储的指令的指令以执行各种任务。例如，处理器组件204、254中的一个或多个可以包括中央处理单元(CPU)和/或图形处理器单元(GPU)。例如，如果存在GPU，则可以将一些图像/视频渲染任务——诸如生成和显示用户界面或显示数字补充的部分——从CPU卸载到GPU。在一些实施方式中，一些图像辨识任务也可以从CPU卸载到GPU。
虽然图2未示出，但是一些实施方式包括头戴式显示设备(HMD)(例如，启用AR的眼镜)。HMD可以是与移动设备110分离的设备，或者移动设备110可以包括HMD。在一些实施方式中，移动设备110经由电缆与HMD通信。例如，移动设备110可以向HMD传输视频信号和/或音频信号以供为用户显示，并且HMD可以向移动设备110传输运动、方位和/或定向信息。
移动设备110还可以包括各种用户输入组件(未示出)，诸如使用无线通信协议与移动设备110进行通信的控制器。在一些实施方式中，移动设备110可以经由有线连接(例如，通用串行总线(USB)电缆)或经由无线通信协议(例如，任何WiFi协议、任何蓝牙协议、Zigbee等)与HMD(未示出)进行通信。在一些实施方式中，移动设备110是HMD的组件并且可以被包含在HMD的壳体内。
图13示出可以与这里描述的技术一起使用的通用计算机设备2000和通用移动计算机设备2050的示例。计算设备2000旨在表示各种形式的数字计算机，诸如膝上型计算机、台式计算机、平板电脑、工作站、个人数字助理、电视、服务器、刀片服务器、大型机和其他适当的计算设备。计算设备2050旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。此处中所示的组件、它们的连接和关系以及它们的功能仅意指是示例性的，并不意指限制本文档中描述和/或要求保护的发明的实施方式。
计算设备2000包括处理器2002、存储器2004、存储设备2006、连接到存储器2004和高速扩展端口2010的高速接口2008以及连接到低速总线2014和存储设备2006的低速接口2012。处理器2002可以是基于半导体的处理器。存储器2004可以是基于半导体的存储器。部件2002、2004、2006、2008、2010和2012中的每一个均使用各种总线来互连，并且可以安装在公共主板上或者适当地以其它方式安装。处理器2002可处理用于在计算设备2000内执行的指令，包括存储在存储器2004中或在存储设备2006上以在诸如耦合到高速接口2008的显示器2016上的外部输入/输出设备显示GUI的图形信息的指令。在其它实施方式中，可以使用多个处理器和/或多个总线以及适当地多个存储器和多种类型的存储器。另外，可以连接多个计算设备2000，其中每个设备提供必要操作的各部分(例如，作为服务器组、一组刀片服务器或多处理器系统)。
存储器2004存储计算设备2000内的信息。在一个实施方式中，存储器2004是一个或多个易失性存储器单元。在另一实施方式中，存储器2004是一个或多个非易失性存储器单元。存储器2004还可以是另一形式的计算机可读介质，诸如磁盘或光盘。
存储设备2006能够为计算设备2000提供大容量存储。在一个实施方式中，存储设备2006可以是或者包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪速存储器或其它类似的固态存储设备或设备的阵列，包括存储区域网络或其它配置中的设备。可在信息载体中有形地具体实现计算机程序产品。计算机程序产品还可以包含指令，所述指令当被执行时，执行一种或多种方法，诸如上述的那些方法。信息载体是计算机或机器可读介质，诸如存储器2004、存储设备2006或处理器2002上的存储器。
高速控制器2008管理计算设备2000的带宽密集操作，然而低速控制器2012管理较低带宽密集操作。功能的这种分配仅是示例性的。在一个实施方式中，高速控制器2008耦合到存储器2004、显示器2016(例如，通过图形处理器或加速器)，并且耦合到高速扩展端口2010，所述高速扩展端口2010可以接受各种扩展卡(未示出)。在该实施方式中，低速控制器2012耦合到存储设备2006和低速扩展端口2014。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口例如通过网络适配器耦合到一个或多个输入/输出设备，诸如键盘、指点设备、扫描器或诸如交换机或路由器的联网设备。
如图中所示，可以以许多不同的形式实现计算设备2000。例如，它可以作为标准服务器2020被实现，或者在一组这样的服务器中实现多次。它还可以作为机架服务器系统2024的一部分被实现。此外，它可以被实现在诸如膝上型计算机2022的个人计算机中。可替选地，来自计算设备2000的部件可以与移动设备(未示出)诸如设备2050中的其它部件组合。这样的设备中的每一个均可以包含计算设备2000、2050中的一个或多个，并且整个系统可以由彼此通信的多个计算设备2000、2050组成。
计算设备2050包括处理器2052、存储器2064、诸如显示器2054的输入/输出设备、通信接口2066和收发器2068以及其它组件。设备2050还可以被提供有存储设备，诸如微驱动器或其它设备，以提供附加存储。部件2050、2052、2064、2054、2066和2068中的每一个均使用各种总线来互连，并且若干部件可以被安装在公共主板上或者适当地以其它方式安装。
处理器2052可执行计算设备2050内的指令，包括存储在存储器2064中的指令。可以将处理器实现为包括单独的及多个模拟和数字处理器的芯片的芯片组。例如，处理器可以提供对设备2050的其它组件的协调，诸如对用户界面、由设备2050运行的应用以及由设备2050进行的无线通信的控制。
处理器2052可以通过耦合到显示器2054的控制接口2058和显示接口2056来与用户进行通信。显示器2054可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其它适当的显示技术。显示接口2056可以包括用于驱动显示器2054以向用户呈现图形和其它信息的适当的电路。控制接口2058可以接收来自用户的命令并且对它们进行转换以便提交给处理器2052。此外，可以提供与处理器2052通信的外部接口2062，以便使得能实现设备2050与其它设备的近区域通信。外部接口2062可以例如在一些实施方式中提供用于有线通信，或者在其它实施方式中提供用于无线通信，并且还可以使用多个接口。
存储器2064存储计算设备2050内的信息。可将存储器2064实现为一个或多个计算机可读介质、一个或多个易失性存储器单元或者一个或多个非易失性存储器单元中的一个或多个。还可以通过扩展接口2072来提供扩展存储器2074并将它连接到设备2050，所述扩展接口2072可以包括例如SIMM(单列直插存储器模块)卡接口。这样的扩展存储器2074可以为设备2050提供额外的存储空间，或者还可以为设备2050存储应用或其它信息。具体地，扩展存储器2074可以包括用于执行或者补充上述的过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器2074可以作为用于设备2050的安全模块被提供，并且可以被编程有允许安全地使用设备2050的指令。此外，可以经由SIMM卡提供安全应用以及附加信息，诸如以不可破解的方式将识别信息放置在SIMM卡上。
如下所述，存储器可以包括例如闪速存储器和/或NVRAM存储器。在一个实施方式中，计算机程序产品被有形地具体实现在信息载体中。计算机程序产品包含指令，所述指令当被执行时，执行一种或多种方法，诸如上述的那些方法。信息载体是可以例如通过收发器2068或外部接口2062接收的计算机或机器可读介质，诸如存储器2064、扩展存储器2074或处理器2052上的存储器。
设备2050可以通过通信接口2066以无线方式通信，所述通信接口2066可以在必要时包括数字信号处理电路。通信接口2066可以提供用于在各种模式或协议下通信，所述各种模式或协议诸如GSM语音呼叫、SMS、EMS或MMS消息传送、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这样的通信可以例如通过射频收发器2068而发生。此外，可以发生短距离通信，诸如使用蓝牙、Wi-Fi或其它这样的收发器(未示出)。此外，GPS(全球定位系统)接收器模块2070可以向设备2050提供附加的导航和位置相关无线数据，其可以由在设备2050上运行的应用适当地使用。
设备2050还可以使用音频编解码器2060来可听地通信，所述音频编解码器2060可以接收来自用户的口语信息并且将它转换为可用的数字信息。音频编解码器2060可以同样地为用户生成可听声音，诸如通过扬声器，例如在设备2050的听筒中。这样的声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如，语音消息、音乐文件等)并且还可以包括由在设备2050上操作的应用所生成的声音。
如图中所示，可以以许多不同的形式实现计算设备2050。例如，它可以作为蜂窝电话2080被实现。它还可以作为智能电话2082、个人数字助理或其它类似的移动设备的一部分被实现。
这里描述的系统和技术的各种实施方式可用数字电子电路、集成电路、专门地设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合加以实现。这些各种实施方式可包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，所述可编程系统包括至少一个可编程处理器，其可以是专用的或通用的，耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并且向存储系统、至少一个输入设备和至少一个输出设备数据和指令。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可用高级过程和/或面向对象编程语言和/或用汇编/机器语言加以实现。如本文所使用的，术语“机器可读介质”、“计算机可读介质”指代用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，包括将机器指令作为机器可读信号来接收的机器可读介质。术语“机器可读信号”指代用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，可在计算机上实现在此描述的系统和技术，所述计算机具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户可以用来向该计算机提供输入的键盘和指点设备(例如，鼠标或轨迹球)。其它种类的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以任何形式接收来自用户的输入，包括声、语音或触觉输入。
可在计算系统中实现在此描述的系统和技术，所述计算系统包括后端部件(例如，作为数据服务器)，或者包括中间件部件(例如，应用服务器)，或者包括前端部件(例如，具有用户可用来与在此描述的系统和技术的实施方式交互的图形用户界面或Web浏览器的客户端计算机)，或者包括这样的后端、中间件或前端部件的任何组合。系统的部件可通过任何形式或介质的数字数据通信(例如，通信网络)来互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网。
计算系统可包括客户端和服务器。客户端和服务器一般地彼此远离并且通常通过通信网络来交互。客户端和服务器的关系借助于在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
已经描述了许多实施例。然而，应理解的是，在不脱离本发明的精神和范围的情况下，可以做出各种修改。
此外，图中描绘的逻辑流程不要求所示的特定次序或顺序次序以实现所希望的结果。此外，可以提供其它步骤，或者可以从所描述的流程中消除步骤，并且可以向所描述的系统添加其它部件，或者从所描述的系统中移除其它组件。

Claims (24)

1.一种方法，包括：
接收由用户使用移动设备捕获的真实世界场景的表示，所述真实世界场景是真实世界物理区域的一部分；
基于所述真实世界场景的表示与所述真实世界物理区域的模型的一部分的比较来将所述移动设备的位置与AR锚相关联；以及
基于所述移动设备的位置来触发所述移动设备内与所述真实世界物理区域的所述模型相关联的AR对象的显示。
2.根据权利要求1所述的方法，进一步包括：
基于相对于所述AR锚的位置的所述AR对象的位置来确定相对于所述移动设备的位置的所述AR对象的位置。
3.根据权利要求1或2所述的方法，其中，所述AR对象相对于在所述真实世界的所述模型内的固定位置处的原点具有固定位置。
4.根据权利要求1或2所述的方法，其中，所述AR对象相对于所述AR锚的位置具有固定位置，所述AR锚的位置相对于所述真实世界的所述模型内的原点是固定的。
5.根据权利要求1所述的方法，进一步包括：
基于所述AR对象相对于所述真实世界物理区域的所述模型内的原点的位置以及所述AR锚点相对于所述原点的位置，确定相对于所述移动设备的位置的所述AR对象的位置。
6.根据权利要求1至5中的任一项所述的方法，其中，将所述移动设备的位置相关联包括：确定所述移动设备距所述AR锚的距离以及所述移动设备相对于所述AR锚正面向的方向。
7.根据权利要求1至6中的任一项所述的方法，其中，所述真实世界场景是第一真实世界场景，所述位置是第一位置，所述AR锚是第一AR锚，
所述方法进一步包括：
检测所述移动设备从所述第一位置到第二位置的移动；
接收由所述移动设备捕获的第二真实世界场景的表示，所述第二真实世界场景来自所述真实世界物理区域；以及
基于所述第二真实世界场景的表示与所述真实世界物理区域的所述模型的比较来将所述移动设备的所述第二位置与第二AR锚相关联。
8.根据权利要求1至7中的任一项所述的方法，其中，所述AR对象被显示在由所述移动设备捕获的所述真实世界物理区域的一部分的图像内。
9.根据权利要求1至8中的任一项所述的方法，其中，所述真实世界场景的表示是真实世界物理区域的至少一部分的图像。
10.根据权利要求1至9中的任一项所述的方法，其中，所述模型是真实世界物理区域的1:1比例表示。
11.根据权利要求1至10中的任一项所述的方法，其中，所述AR对象是文本对象、动画或模型中的至少一个，所述AR对象基于所述移动设备的定向被显示。
12.一种方法，包括：
接收由移动设备捕获的真实世界场景的表示，所述真实世界场景是真实世界物理区域的一部分；
基于所述真实世界场景的特征与所述真实世界物理区域的模型地图的特征的比较来利用来自多个AR锚的AR锚定位所述移动设备；以及
基于所述AR对象在所述模型内的固定位置和所述AR锚在所述模型内的固定位置来识别AR对象相对于所述移动设备的位置和定向。
13.根据权利要求12所述的方法，进一步包括：
基于所述AR对象相对于所述真实世界物理区域的所述模型内的原点的固定位置以及所述AR锚相对于所述原点的固定位置来确定相对于所述移动设备的位置的所述AR对象的位置。
14.根据权利要求12或13所述的方法，其中，定位所述移动设备包括：确定所述移动设备距所述AR锚的距离以及所述移动设备相对于所述AR锚正面向的方向。
15.根据权利要求12至14中的任一项所述的方法，其中，所述AR对象被显示在由所述移动设备捕获的所述真实世界物理区域的一部分的图像内。
16.一种方法，包括：
捕获与真实世界物理区域相关联的第一特征作为模型；
将AR对象与所述模型中的固定位置相关联；
捕获与真实世界位置相关联的第二特征，所述真实世界位置与所述真实世界物理区域的一部分相对应；以及
将所捕获的第二特征与作为AR锚的所述模型中的与所述真实世界位置相对应的位置相关联。
17.根据权利要求16所述的方法，其中，所述模型是所述真实世界物理区域的1:1比例表示。
18.根据权利要求16或17所述的方法，其中，在所述AR对象处具有与所述模型的定向。
19.根据权利要求16至18中的任一项所述的方法，其中，所述AR锚的所述第二特征包括全景图。
20.根据权利要求16至19中的任一项所述的方法，其中，所述AR对象的固定位置是相对于所述模型的原点的。
21.根据权利要求16至19中的任一项所述的方法，其中，所述AR锚的在所述模型中的位置相对于所述模型的原点是固定的。
22.根据权利要求16至21中的任一项所述的方法，其中，所述AR锚是第一AR锚，所述真实世界位置是第二真实世界位置，所述一部分是第一部分，在所述模型中的位置是在所述模型中的第一位置；
所述方法进一步包括：
捕获与第二真实世界位置相关联的第三特征，所述第二真实世界位置与所述真实世界物理区域的第二部分相对应，所述第一部分与所述第二部分不同；和
将所捕获的第三特征与作为第二AR锚的所述模型中的位置相关联。
23.一种存储指令的计算机可读存储器，所述指令在由一个或多个处理器组件执行时使所述一个或多个处理器组件执行前述权利要求中的任一项所述的方法。
24.一种系统，包括一个或多个处理器组件以及一个或多个存储指令的存储器，所述指令在由一个或多个处理器组件执行时使所述一个或多个处理器组件执行权利要求1至22中的任一项所述的方法。
CN202080000860.9A 2019-05-05 2020-05-05 基于场地的增强现实的方法和装置 Pending CN112189218A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962843495P 2019-05-05 2019-05-05
US62/843,495 2019-05-05
US15/929,470 2020-05-04
US15/929,470 US11163997B2 (en) 2019-05-05 2020-05-04 Methods and apparatus for venue based augmented reality
PCT/US2020/070024 WO2020227734A1 (en) 2019-05-05 2020-05-05 Methods and apparatus for venue based augmented reality

Publications (1)

Publication Number Publication Date
CN112189218A true CN112189218A (zh) 2021-01-05

Family

ID=73017584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080000860.9A Pending CN112189218A (zh) 2019-05-05 2020-05-05 基于场地的增强现实的方法和装置

Country Status (4)

Country Link
US (2) US11163997B2 (zh)
EP (1) EP3752983A1 (zh)
CN (1) CN112189218A (zh)
WO (1) WO2020227734A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US20190378334A1 (en) * 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
WO2019237085A1 (en) 2018-06-08 2019-12-12 Vulcan Inc. Session-based information exchange
US11435189B2 (en) * 2019-09-04 2022-09-06 Mapsted Corp. Method and system of crowd- sourced magnetic fingerprinting with neural network re-training
US11482002B1 (en) 2020-10-16 2022-10-25 Splunk Inc. Codeless anchor detection for detectable features in an environment
EP4015996A1 (en) * 2020-12-17 2022-06-22 Siemens Aktiengesellschaft Method for generating a map for augmented reality devices in an industrial facility
US11551370B2 (en) * 2020-12-18 2023-01-10 Nationwide Management Services, Inc. Remote inspection and appraisal of buildings
KR20220090167A (ko) * 2020-12-22 2022-06-29 현대자동차주식회사 모바일 장치 및 차량
US12003806B2 (en) 2021-03-11 2024-06-04 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
US12028507B2 (en) * 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
US11645819B2 (en) * 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
US11941231B2 (en) 2021-08-29 2024-03-26 Snap Inc. Camera interfaces to interact with IoT devices
US20230063194A1 (en) * 2021-08-29 2023-03-02 Yu Jiang Tham Controlling iot devices through ar object interaction
US11954774B2 (en) 2021-08-29 2024-04-09 Snap Inc. Building augmented reality experiences with IoT devices
US20230410421A1 (en) * 2022-06-21 2023-12-21 Motorola Solutions, Inc. Automated updating and distribution of digital reconnaissance maps of an incident scene

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160217590A1 (en) * 2015-01-26 2016-07-28 Daqri, Llc Real time texture mapping for augmented reality system
CN107111740A (zh) * 2014-09-29 2017-08-29 索尼互动娱乐股份有限公司 用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案
CN109195675A (zh) * 2016-05-31 2019-01-11 微软技术许可有限责任公司 稀疏slam坐标系的共享

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058891B2 (en) 2001-05-25 2006-06-06 Learning Tree International, Inc. Interface for a system of method of electronic presentations having multiple display screens with remote input
US7434153B2 (en) 2004-01-21 2008-10-07 Fuji Xerox Co., Ltd. Systems and methods for authoring a media presentation
EP1828862A2 (en) 2004-12-14 2007-09-05 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
US20100045701A1 (en) 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
US20100203868A1 (en) 2009-02-12 2010-08-12 Ike Sagie System and Method for Providing Multiple Itinerary Services
GB2470073B (en) 2009-05-08 2011-08-24 Sony Comp Entertainment Europe Entertainment device, system and method
WO2011112940A1 (en) 2010-03-12 2011-09-15 Tagwhat, Inc. Merging of grouped markers in an augmented reality-enabled distribution network
US9489040B2 (en) 2010-07-19 2016-11-08 Smart Technologies Ulc Interactive input system having a 3D input space
KR101719264B1 (ko) 2010-12-23 2017-03-23 한국전자통신연구원 방송 기반 증강 현실 콘텐츠 제공 시스템 및 그 제공 방법
JP5697487B2 (ja) 2011-02-25 2015-04-08 任天堂株式会社 画像処理システム、画像処理方法、画像処理装置、および画像処理用プログラム
KR101056418B1 (ko) 2011-03-31 2011-08-11 주식회사 맥스트 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
US8872852B2 (en) 2011-06-30 2014-10-28 International Business Machines Corporation Positional context determination with multi marker confidence ranking
US9573053B2 (en) * 2011-09-30 2017-02-21 Bally Gaming, Inc. Augmented reality for table games
US9524436B2 (en) * 2011-12-06 2016-12-20 Microsoft Technology Licensing, Llc Augmented reality camera registration
US20130155108A1 (en) 2011-12-15 2013-06-20 Mitchell Williams Augmented Reality User Interaction Methods, Computing Devices, And Articles Of Manufacture
US9369667B2 (en) 2012-04-11 2016-06-14 Jie Diao Conveying gaze information in virtual conference
US20130290421A1 (en) 2012-04-27 2013-10-31 Touchtable, Inc. Visualization of complex data sets and simultaneous synchronization of such data sets
EP2657882A1 (en) * 2012-04-27 2013-10-30 Layar B.V. Reference image slicing
JP5538483B2 (ja) * 2012-06-29 2014-07-02 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
US20140089850A1 (en) 2012-09-22 2014-03-27 Tourwrist, Inc. Systems and Methods of Using Motion Control to Navigate Panoramas and Virtual Tours
US8781932B2 (en) 2012-08-08 2014-07-15 At&T Intellectual Property I, L.P. Platform for hosting virtual events
US9129429B2 (en) * 2012-10-24 2015-09-08 Exelis, Inc. Augmented reality on wireless mobile devices
JP6064544B2 (ja) 2012-11-27 2017-01-25 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び端末装置
US9699271B2 (en) 2013-01-29 2017-07-04 Blackberry Limited Method and apparatus for suspending screen sharing during confidential data entry
US9336629B2 (en) * 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
US9084531B2 (en) 2013-02-27 2015-07-21 Siemens Aktiengesellschaft Providing real-time marker detection for a stent in medical imaging
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9355123B2 (en) * 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
JP6171671B2 (ja) * 2013-07-24 2017-08-02 富士通株式会社 情報処理装置、位置指定方法および位置指定プログラム
WO2015016798A2 (en) 2013-07-31 2015-02-05 Imcom Yazilim Elektronik Sanayi Ltd. Sti. A system for an augmented reality application
US9336685B2 (en) 2013-08-12 2016-05-10 Curious.Com, Inc. Video lesson builder system and method
US9996974B2 (en) 2013-08-30 2018-06-12 Qualcomm Incorporated Method and apparatus for representing a physical scene
EP3048555B1 (en) * 2013-09-20 2020-07-15 Fujitsu Limited Image processing device, image processing method, and image processing program
US10933209B2 (en) 2013-11-01 2021-03-02 Georama, Inc. System to process data related to user interactions with and user feedback of a product while user finds, perceives, or uses the product
JP6265027B2 (ja) * 2014-04-22 2018-01-24 富士通株式会社 表示装置、位置特定プログラム、および位置特定方法
HK1201682A2 (zh) 2014-07-11 2015-09-04 Idvision Ltd 增强現實圖像之系統
US9489739B2 (en) * 2014-08-13 2016-11-08 Empire Technology Development Llc Scene analysis for improved eye tracking
JP6476657B2 (ja) * 2014-08-27 2019-03-06 株式会社リコー 画像処理装置、画像処理方法、およびプログラム
US20160063327A1 (en) * 2014-08-29 2016-03-03 Datangle, Inc. Wearable Device To Display Augmented Reality Information
US9791917B2 (en) 2015-03-24 2017-10-17 Intel Corporation Augmentation modification based on user interaction with augmented reality scene
US20160300392A1 (en) 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
US10033941B2 (en) 2015-05-11 2018-07-24 Google Llc Privacy filtering of area description file prior to upload
US20160335275A1 (en) 2015-05-11 2016-11-17 Google Inc. Privacy-sensitive query for localization area description file
US9911238B2 (en) 2015-05-27 2018-03-06 Google Llc Virtual reality expeditions
US9865091B2 (en) 2015-09-02 2018-01-09 Microsoft Technology Licensing, Llc Localizing devices in augmented reality environment
US9922465B2 (en) 2016-05-17 2018-03-20 Disney Enterprises, Inc. Systems and methods for changing a perceived speed of motion associated with a user
US20170337745A1 (en) * 2016-05-23 2017-11-23 tagSpace Pty Ltd Fine-grain placement and viewing of virtual objects in wide-area augmented reality environments
US20180025544A1 (en) * 2016-07-22 2018-01-25 Schoeller Philipp A Method and device for determining rendering information for virtual content in augmented reality
WO2018027206A1 (en) 2016-08-04 2018-02-08 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US20180270631A1 (en) 2017-03-16 2018-09-20 Walmart Apollo, Llc Object Identification Detection System
US10134279B1 (en) * 2017-05-05 2018-11-20 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for visualizing potential risks
CA3062541C (en) * 2017-05-05 2022-01-11 Unity IPR ApS Contextual applications in a mixed reality environment
US10685456B2 (en) 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices
US10692289B2 (en) * 2017-11-22 2020-06-23 Google Llc Positional recognition for augmented reality environment
US20190221030A1 (en) * 2018-01-17 2019-07-18 Unchartedvr Inc. Control of physical objects in a virtual world
US11126846B2 (en) 2018-01-18 2021-09-21 Ebay Inc. Augmented reality, computer vision, and digital ticketing systems
US10504282B2 (en) 2018-03-21 2019-12-10 Zoox, Inc. Generating maps without shadows using geometry
US10839603B2 (en) 2018-04-30 2020-11-17 Microsoft Technology Licensing, Llc Creating interactive zones in virtual environments
US10762219B2 (en) * 2018-05-18 2020-09-01 Microsoft Technology Licensing, Llc Automatic permissions for virtual objects
US10482674B1 (en) 2018-06-27 2019-11-19 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for mobile augmented reality
US20200104028A1 (en) * 2018-08-22 2020-04-02 Nitin Vats Realistic gui based interactions with virtual gui of virtual 3d objects
US10908771B2 (en) 2019-01-31 2021-02-02 Rypplzz, Inc. Systems and methods for augmented reality with precise tracking
US11263457B2 (en) * 2019-04-01 2022-03-01 Houzz, Inc. Virtual item display simulations
US11055919B2 (en) * 2019-04-26 2021-07-06 Google Llc Managing content in augmented reality
US11151792B2 (en) * 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
US11144760B2 (en) * 2019-06-21 2021-10-12 International Business Machines Corporation Augmented reality tagging of non-smart items

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107111740A (zh) * 2014-09-29 2017-08-29 索尼互动娱乐股份有限公司 用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案
US20160217590A1 (en) * 2015-01-26 2016-07-28 Daqri, Llc Real time texture mapping for augmented reality system
CN109195675A (zh) * 2016-05-31 2019-01-11 微软技术许可有限责任公司 稀疏slam坐标系的共享

Also Published As

Publication number Publication date
US20220051022A1 (en) 2022-02-17
WO2020227734A1 (en) 2020-11-12
EP3752983A1 (en) 2020-12-23
US11163997B2 (en) 2021-11-02
US20200349350A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
US11163997B2 (en) Methods and apparatus for venue based augmented reality
US11127203B2 (en) Leveraging crowdsourced data for localization and mapping within an environment
US20190147662A1 (en) Registration between actual mobile device position and environmental model
CN103827634B (zh) 用于室内定位的徽标检测
US9301103B1 (en) Method and system for determining position of an inertial computing device in a distributed network
JP5920352B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10043314B2 (en) Display control method and information processing apparatus
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
WO2014162044A1 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US11609345B2 (en) System and method to determine positioning in a virtual coordinate system
WO2014133710A1 (en) Federated mobile device positioning
US11674807B2 (en) Systems and methods for GPS-based and sensor-based relocalization
CN109459029A (zh) 一种用于确定目标对象的导航路线信息的方法与设备
US11600024B2 (en) System and method for recalibrating an augmented reality experience using physical markers
CN113094966A (zh) 用于使用粒子滤波器进行定位的基于射频的虚拟运动模型
US20220237875A1 (en) Methods and apparatus for adaptive augmented reality anchor generation
KR101914660B1 (ko) 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법 및 그 장치
Hasler et al. Implementation and first evaluation of an indoor mapping application using smartphones and AR frameworks
CN110222552A (zh) 定位系统及方法及电脑可读取存储媒体
KR20150094338A (ko) 단말장치의 위치 및 자세정보를 이용한 증강현실 서비스 시스템 및 방법
KR101939530B1 (ko) 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치
CN116576866B (zh) 导航方法和设备
US20240192372A1 (en) Lidar enabled wayfinding system
CN107704579B (zh) 基于路网的众包数据处理方法、装置、设备及存储介质
KR20230041461A (ko) 외부의 측위 장치를 이용하여 전역 위치를 추정하기 위한 컴퓨팅 장치 및 그의 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination