CN112074797A - 用于将虚拟对象锚定到物理位置的系统和方法 - Google Patents

用于将虚拟对象锚定到物理位置的系统和方法 Download PDF

Info

Publication number
CN112074797A
CN112074797A CN201980028952.5A CN201980028952A CN112074797A CN 112074797 A CN112074797 A CN 112074797A CN 201980028952 A CN201980028952 A CN 201980028952A CN 112074797 A CN112074797 A CN 112074797A
Authority
CN
China
Prior art keywords
computing device
anchor
pose
data describing
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980028952.5A
Other languages
English (en)
Inventor
S.莱宁
E.T.安德雷森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN112074797A publication Critical patent/CN112074797A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/08—Access security
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/352—Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5372—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for tagging characters, objects or locations in the game scene, e.g. displaying a circle under the character controlled by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor

Abstract

本公开提供了允许第一用户将虚拟对象锚定到物理位置并且允许第二用户查看该物理位置处的虚拟对象的系统和方法。特别地，本公开的各方面针对使第一计算设备能够(例如基于由第一设备所收集的传感器数据)生成其物理环境的自组织映射并将虚拟对象定位和锚定在此类映射内的物理位置处的工作流、应用编程接口(“API”)和计算系统基础结构。可以将描述映射和虚拟对象的数据存储在云数据库中，并且然后由第二设备使用或用于第二设备在锚的位置处渲染虚拟对象。

Description

用于将虚拟对象锚定到物理位置的系统和方法
相关申请
本申请要求于2018年5月7日提交的美国临时专利申请号62/668,205的优先权和权益。美国临时专利申请号62/668,205的全部内容通过引用合并于此。
技术领域
本公开总体上涉及增强现实或虚拟现实。更具体地，本公开涉及使用户能够将虚拟对象锚定到物理位置的系统和方法。
背景技术
虚拟现实可以指通过感觉和感知模拟体验的计算机生成的环境。增强现实可以指已采用计算机添加的感知信息(可以称为虚拟对象)“增强”的物理真实世界环境的实时视图。例如，计算机添加的虚拟对象可以包括被设计为通过一种或多种感官模态(诸如例如视觉、听觉、触觉、体感和/或嗅觉)来体验的信息。
尽管一些虚拟或增强现实系统确实跨多个用户提供了一定程度的共享体验，但是这些系统通常依赖于虚拟环境生成和部署的自顶向下模型。该自顶向下模型不允许用户在物理世界内生成和锚定虚拟对象。此类模型也无法大规模共享用户锚定的虚拟对象，从而无法跨多个附加设备进行有效渲染。
发明内容
本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中得知，或者可以通过实施例的实践而得知。
一个示例方面针对被配置为执行操作的一个或多个服务器计算设备。该操作包括从第一计算设备接收描述第一计算设备的周围环境的数据和描述第一计算设备的周围环境内的锚的姿态的数据，其中虚拟对象与锚相关联。该操作包括将描述锚的姿态的数据存储在数据存储设备中。该操作包括从第二计算设备接收对锚的姿态的请求。该操作包括向第二计算设备提供描述锚相对于第二计算设备的姿态的姿态的数据。
另一个示例方面针对被配置为执行操作的计算设备。该操作包括收集描述计算设备的周围环境的传感器数据。该操作包括从用户接收对生成用于计算设备的周围环境内的虚拟对象的锚的请求。该操作包括经由应用编程接口向服务器计算系统提供描述计算设备的周围环境的数据和描述用于计算设备的周围环境内的虚拟对象的锚的姿态的数据。
另一个示例方面针对被配置为执行操作的计算设备。该操作包括经由应用编程接口从服务器计算系统接收描述计算设备的周围环境内的虚拟对象的锚的姿态的数据。该操作包括根据锚的姿态在计算设备的显示器上渲染计算设备的周围环境内的虚拟对象。
本公开的其它方面针对各种系统、装置、非暂态计算机可读介质、用户界面和电子设备。
参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其它特征、方面和优点。结合在本说明书中并构成本说明书的一部分的附图示出了本公开的示例实施例，并且与描述一起用于解释相关原理。
附图说明
在参考附图的说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，在附图中：
图1A-D描绘了根据本公开的示例实施例的示例计算系统配置。
图2描绘了根据本公开的示例实施例的用于增强现实系统的示例工作流的框图。
图3描绘了根据本公开的示例实施例的示例计算系统的框图。
具体实施方式
总体上，本公开针对允许第一用户将虚拟对象锚定到物理位置并且允许第二用户查看该物理位置处的虚拟对象的系统和方法。特别地，本公开的各方面针对使第一计算设备能够(例如基于由第一设备所收集的传感器数据)生成其物理环境的自组织映射并将虚拟对象定位和锚定在此类映射内的物理位置处的工作流、应用编程接口(“API”)和计算系统基础结构。可以将描述映射和虚拟对象的数据存储在云数据库中，并且然后由第二设备使用或用于第二设备在锚的位置处渲染该虚拟对象。例如，第二设备的渲染可以基于(例如，基于由第二设备收集的传感器数据而生成的)第二设备的物理环境的第二自组织映射。
更特别地，本公开的中心方面是“锚”的放置和使用。锚通常可以指在物理世界和虚拟世界之间定义的连接。锚的使用允许虚拟内容在物理世界内的放置和定位(例如，由个体用户)，并且随后允许在锚位置处的物理世界上渲染锚定的虚拟内容。
因此，锚通常对应于或包括真实世界(例如，特定桌子的拐角)中的姿态(例如，定位和取向)。例如，姿态可以在诸如笛卡尔坐标框架的坐标框架内表达。可以以允许用户将虚拟对象附加到该姿态的方式通过使用API经由软件开发工具包(“SDK”)来浮现该姿态。例如，系统可以允许用户将虚拟对象放置在桌子的拐角上。
在已经放置锚之后，可以将其存储在云系统中，并且然后可以(例如，经由API)将其服务于附加设备。因此，当附加设备寻求在特定桌子处享受AR体验时，虚拟对象将重新出现在确切的相同位置中。即使与放置锚的设备相关联的应用已关闭，情况仍然如此。
为了使该识别起作用，可以使计算设备能够描述/理解锚周围的场景看起来是什么样的。因此，在一些实施方式中，每个设备可以收集传感器数据(例如，由(一个或多个)相机捕捉的图像)，并且可以以使得设备可以相对于锚定位的方式记忆或以其它方式确定周围场景的几何形状和外观。
因此，本文描述的系统和方法支持增强现实(“AR”)和/或虚拟现实(“VR”)多用户“共享”体验(例如，其中会话大致同时发生)和/或“持久性”体验(例如，一个或多个用户的多个会话同时和/或在不同的时间发生)，其中使存在于锚的位置处的一个或多个第二用户可以看到由第一用户锚定到物理世界的虚拟对象。特别地，包括跨平台API和SDK的云基础结构能够实现跨多个不同的设备和用户的无缝共享体验。
在一些实施方式中，可以在被称为感兴趣框架(“Frames of Interest,FOI”)的数据结构中描述由用户生成的锚。FOI可以描述虚拟对象已以其被锚定的姿态(例如，定位和取向)。在一些实施方式中，一个或多个虚拟对象已经被锚定处的位置可以被称为AR或VR“热点”。
在一些实施方式中，锚可以相对于环境中的一个或多个视觉特征(例如，描述符和检测器)定位。在一些实施方式中，由放置锚的用户操作的计算设备(例如，其应用)可能需要从他们希望锚稍后从其被识别的任何视角(perspective)查看锚。设备和/或应用可以主动地(例如在映射步骤期间，例如，其中向用户提供在AR内容位置周围走动的指令)或被动地(例如，在常规应用使用期间)收集视觉信息。在一些实施方式中，锚还可以包括图像或视频剪辑或与其相关联以帮助用户识别锚被放置的位置(例如，当与将需要找到AR锚的其他用户共享时，这可能特别有用)。该附加图像收集和存储也可能有助于开发更优的视觉特征。
在一些实施方式中，FOI描述了锚的姿态，但是不一定描述虚拟对象本身。相反，例如，可以简单地引用虚拟对象的模型，并且可以从一些其它位置(例如，云数据库、应用中包含的固定资产集合和/或一些其它通道)访问虚拟对象的模型。因此，可以将AR伪像相对于锚定位。AR伪像可以存储在第一方伪像索引中，或者它们可以由第三方应用或应用后端管理。锚可以支持所有这些用例，并且不一定需要使用第一方索引。
锚的姿态(例如，定位和取向)可以根据物理世界的一部分的映射或相对于物理世界的一部分的映射来定义。该映射可以是先前生成的全局映射，或者根据本公开的一方面，该映射可以是基于由寻求建立锚定的设备收集的传感器数据而生成的局部映射。
在一些实施方式中，可以在被称为区域描述文件(“Area Description File,ADF”)的数据结构中存储和描述物理世界的一部分的映射。ADF可以包括环境的地图，该环境的地图以允许AR渲染算法识别场景和/或相对于场景定位设备的方式描述场景的外观和几何形状。
在一些实施方式中，ADF不公开地暴露。ADF可以与其它ADF合并，并且可以随时间推移以附加数据增强。例如，合并两个或更多个ADF可以包括将两个或更多个ADF提供的数据组合到具有单个共享坐标框架的单个文件中。在一些情况下，如果ADF描述的环境至少部分地重叠，则可以合并它们。
根据一个方面，本公开提供了支持虚拟内容在物理世界中的持久放置而不需要预先映射的空间的API和系统基础结构。特别地，本公开提供了计算基础结构，该计算基础结构使能基于云的存储和服务对锚定和渲染虚拟对象有用的信息，诸如例如环境映射和虚拟对象描述。
作为一个示例，服务器计算系统可以提供视觉定位服务(Visual PositioningService,VPS)，该视觉定位服务可以可选地作为“云”中的服务来提供。VPS可以生成、接收、存储、使用和/或服务于描述虚拟对象的锚定姿态的FOI和描述底层映射数据的ADF。VPS可以管理、合并、优化和/或压缩FOI和/或ADF。例如，可以通过其对应的FOI共享和/或索引ADF。
因此，在一些实施方式中，计算系统(例如，由服务器计算系统提供的VPS)可以执行FOI的管理。例如，在一些实施方式中，可以通过API请求应在当前会话中显示的FOI。然后，用户计算设备可以从本地磁盘和/或通过VPS(例如，使用图块或服务器侧查询)针对给定的FOI加载必要的映射数据，并可以根据FOI在场景内渲染虚拟对象。
根据另一方面，该计算系统(例如，由服务器计算系统提供的VPS)可以实现FOI的持久化。例如，在一些实施方式中，如果FOI应该被持久化，则底层映射系统可以在FOI创建期间采集必要的传感器数据(例如，用于识别和/或定位的原始和/或处理的视频数据)。持久性FOI可以存储在FOI商店中。在API之下，多个FOI可以引用相同的映射数据，并且多个FOI的映射数据可以合并为单个表示。
在一些实施方式中，计算系统可以提供支持VPS的持久性。例如，在一些实施方式中，可以将FOI和/或ADF上传到VPS后端以进行索引和处理。重叠的ADF可以被合并并联合地完善。可以将映射数据的改进和/或压缩的版本下载回“原始”设备，从而允许该设备释放其存储器中的一些存储器。一旦FOI持久化到云中，它们也可以与其它设备共享，用于共存体验或其它体验。与全局VPS支架(scaffolding)重叠的ADF也可以注册到全局支架。
在一些实施方式中，为了使多个会话(例如，在相同或不同的时间发生)能够一致地示出同一物理位置处的虚拟对象，所有涉及的电子设备(例如，诸如智能电话、头戴式显示器等的用户设备)必须理解它们相对于环境的姿态(例如，定位和取向)。因此，设备在很大程度上建立或以其他方式理解公共参考框架，并且知道它们在其内的姿态。一旦建立了此公共参考框架并启用了实时姿态估计，所有设备都可以以一致的方式渲染相关内容。
在一些情况下，上述多个设备之间的姿态共配准可以通过使用外部跟踪设备(诸如运动捕捉工作室中使用的设备)来实现。然而，对于普通的终端用户采用的更广泛的移动AR/VR系统，使用复杂的外部跟踪设备通常是不实际的。
鉴于该缺陷，本公开提供利用由设备的(一个或多个)相机、(一个或多个)惯性测量单元(“IMU”)和/或其它传感器捕捉的视觉、惯性和/或其它感官信息建立公共参考框架的系统和方法。在一个示例工作流中，“托管设备”使用传感器信息构建环境的模型并构建环境的映射(例如，可以采取ADF的形式)，该环境的映射以原始形式或预处理形式发送到服务器计算系统(例如，服务器系统的VPS)。在服务器系统处，在与来自“接收设备”的数据结合使用之前潜在地对信息进行进一步处理，以识别环境中的视觉元素。
在一些实施方式中，这些处理和识别步骤可以由服务器系统执行(例如，在这种情况下，接收设备可以向服务器发送传感器数据以用于识别)。可替代地，处理和识别步骤可以由接收设备执行(例如，在这种情况下，服务器系统将来自托管设备的感官信息发送到接收设备以用于处理)。在进一步的实施方式中，除了涉及服务器系统的路径之外，可替代地，设备之间的直接点对点连接也是可能的，其中两个设备直接交换视觉信息以建立公共参考框架。在此，数据处理可以由托管设备和/或接收设备执行。
一旦通过传感器数据的匹配建立了公共参考框架，则对于两个设备来说锚姿态(以及因此内容的定位)都是可解析的，并且允许跨两个设备的虚拟内容的一致渲染。因此，云锚实现了全局规模的持久性内容放置和发现。
特别地，在其中系统是跨平台的一些实施方式中，云锚服务API可以与用于不同平台(诸如Google的ARCore或Apple的ARKit)的低级API进行接口。该系统可以以固定或可变频率捕捉和/或经由API发送运动和视觉数据。该信息可涉及来自相机、IMU和/或其它传感器的原始和/或预处理的传感器信息。然后将原始和/或预处理和/或压缩的信息发送到服务器后端，在服务器后端进一步处理和存储数据。在一些实施方式中，当接收设备想要解析锚柱(anchor post)时，其将视觉数据发送到服务器或托管设备，该服务器或托管设备然后将该信息与托管设备创建的可视地图进行比较。一旦找到匹配，就可以返回接收设备的计算出的柱。与最初创建的锚姿态一起，可以渲染所期望的内容。
因此，在一些实施方式中，接收计算设备(例如，诸如智能电话、头戴式显示器或其它渲染设备的用户计算设备)可以执行FOI定位和/或可以与服务器或其它托管设备一起工作以执行FOI定位。例如，在一些实施方式中，只要设备上的应用访问FOI坐标系统，底层映射数据就将保留在存储器中，并用于设备上FOI的定位。通过在内部切换到最合适的ADF，定位算法可以最准确地跟踪最接近用户的FOI。未被活跃地跟踪的FOI可能相对于相机姿态漂移。
对于持久化到云的FOI，定位查询也可以由VPS后端处理。应用可以向VPS发送视觉查询，该视觉查询用于查询区域中所有附近的ADF。一旦识别出ADF并且可以在其中定位设备，FOI(及其变换)就可用于应用以进行内容渲染。例如，服务器计算系统可以将所有FOI变换到设备的服务开始(例如，最初)框架，以简化开发者工作流。为了准确跟踪FOI，系统可能会决定将映射数据(例如图块)从服务器下载到设备。
在一些实施方式中，建立的锚可以具有限定的寿命。例如，在一些实施方式中，取决于例如捕捉的传感器数据的丰富度和/或其它特性，放置在AR热点处的内容的每一项可以具有有限的寿命。内容到期后，可以自动将其从系统中删除。为了使内容持续更长的时间，用户可以捕捉更多的传感器数据/视点/一天中的时间/等。拥有自动到期日期对于用户期望和后端基础结构具有很好的含义。
可以通过许多不同的方式来发现内容。在一个示例中，内容发现可以通过显式内容共享来发生。例如，在一些实施方式中，用户可以共享内容URL或内容位置的其它指示，其包含关于在哪里找到体验的信息。一旦位于正确的物理位置，VPS服务器系统就可以识别ADF并解析内容相对于相机的姿态以进行渲染。信标设备是执行内容共享的一种潜在选项。例如，信标设备可以向特定空间中的所有用户告知相关内容。
在另一个示例中，内容发现可以通过视觉识别发生。例如，在一些实施方式中，内容可以公开地放置；锚定到支架和/或锚定到其本身的热点ADF。用户可以通过使用VPS识别其中放置了对象的附近地方来发现内容(例如，类似指南针的用户界面可以提供对体验的指导)。对于VPS识别的ADF，可以将对应的FOI姿态发送到设备。反过来，可以使用可用的FOI解析内容。
因此，在一个示例中，从近似位置(例如GPS)开始，可以针对附近的ADF对设备进行云定位，并且可以以设备坐标返回嵌入的锚及其姿态。然后，AR索引可以使用已识别锚的集合及其位置来检索可见内容。应用可以使用锚元数据进行过滤(例如，限制为由消费应用创建或可渲染的锚)。如果用户未主动使用AR，则还可使用位置来警告用户附近的AR内容的存在。
在一个示例使用中，各自具有一个设备的两个用户看向一个场景。他们可以在相同时间或在不同时间处在同一物理场景处。第一用户将对象放置在检测到的平面处，并且按下应用中的“发布”按钮。开始后台处理(例如，具有进度通知)，该后台处理将记录的场景外观和FOI数据发送到VPS系统。一旦进度条达到100％，内容就变得对同一物理空间中的第二用户可见，而无需显式的映射或共享步骤。在一些实施方式中，可以提供使第一用户能够将对象的可见性限制为用户的特定子集(例如，第二用户)的控件。可替代地，用户可以允许对象对任何和所有用户的可见性。
可以利用云锚的示例应用包括娱乐应用(例如，基于位置的或多玩家(特别是异步或大型用户规模)的游戏、倾斜刷艺术装置(Tilt Brush art installations)等)；社交表达应用(例如，持久性装饰品(例如，AR礼物或装饰)、涂鸦墙、布告栏等)；信息注释应用(例如，将时间表附于会议室，有关Airbnb租赁的说明等)；和/或其它类型的应用。
因此，在一些实施方式中，本公开提供或利用以下技术组件：用于放置源AR索引的资产的可浏览库；用于第一用户的对象放置的平面检测和用户界面；设备上和/或云FOI管理；数据记录和上传(例如以压缩的传感器流和/或特征的形式，诸如例如作为mp4视频加IMU数据)；VPS地图处理(例如，低延迟捆绑处理)；VPS定位器索引(例如按序列指纹识别和插入至动态索引)；查询VPS(例如动态和静态索引)以检索匹配的ADF的可解析FOI；检索通过微型ADF或支架可定位的那些FOI；以及为内容提供姿态并允许检索的FOI。本文所述的系统提供了允许跨平台共享和持久化的第一ARSDK。可以作为自动化(云后端)服务执行共享。
使用支持云的服务(例如，与纯设备上的服务相比)的益处包括：
公开和异步共享：可以广泛共享支持云的锚，而无需点对点连接或特定于应用的基础结构。
全局规模的锚存储和发现：云解决方案可以更有效地管理全局规模的AR内容创建、发现和检索。
改进的锚调用和精确性：云处理允许使用更多的计算和数据密集型算法，该算法利用使用情况数据来改进性能。工程师还可以在支持云的算法上更快地进行创新，并在不等待应用更新的情况下部署到终端用户。
跨平台：实施一次即可完成，并以较小设备占用空间分发到不同移动设备。
通用AR查看：以共享的索引和标准化内容格式，单个AR浏览应用可以渲染来自多个源的内容。
现在参考附图，将进一步详细讨论本公开的示例实施例。
示例计算系统配置
图1A-D描绘了根据本公开的示例实施例的示例计算系统配置。特别地，图1A描绘了示例系统，其中用于场景识别的锚信息和视觉数据被发送到服务器以进行中继和处理。然后，“接收设备”将传感器信息发送到服务器，并且服务器对来自接收设备的数据与“托管设备”的数据执行匹配。例如，执行匹配可以包括执行被设计用于定位和/或坐标对准的各种视觉特征匹配算法。匹配成功时，锚和设备姿态从服务器返回到“接收设备”。
图1B描绘了另一示例系统，其中用于场景识别的锚信息和视觉数据在被传递到第二设备之前被发送到服务器以进行中继和处理。在服务器将来自“托管设备”的传感器信息发送到接收设备的接收设备上计算“接收设备”的姿态的识别。因此，与其中在服务器设备处执行视觉匹配的图1A相比，在图1B中，在接收设备处执行视觉匹配。
图1C描绘了另一个示例系统，其中用于场景识别的锚信息和视觉数据直接在设备之间传递而不涉及服务器。“接收设备”将其视觉数据发送到“托管设备”，该托管设备返回两个设备的相对姿态和锚的姿态。因此，在图1C中，视觉匹配在托管设备处执行。
图1D描绘了另一个示例系统，其中用于场景识别的锚信息和视觉数据直接在设备之间传递而不涉及服务器。“托管设备”将其视觉数据和锚姿态发送到自行执行识别的“接收设备”。因此，在图1D中，视觉匹配在托管设备处执行。
示例工作流
图2描绘了用于增强现实系统的示例工作流的框图。可以通过由服务器计算系统实现的视觉处理系统来至少部分地(例如，除了所示出的设备200和250之外)实现所示的工作流。所示的工作流仅作为一个示例提供。也可以使用其它工作流。
首先，爱丽丝在她的安卓设备200上启动应用。接下来，设备200的ARCore 204开始运行运动跟踪。
接下来，爱丽丝放置并共享AR内容。调用ARCore 204创建锚。调用锚托管SDK 202以共享锚。VPS SDK 202向VPS服务器226调用createAnchor()以创建云锚(a)。VPS SDK202提取传感器信息并创建数据集(b)。VPS SDK 202将数据集上传到接收服务器210(c)。
数据集被存储在加密的短期存储装置212中(d)。上传服务器216将通知发送到热点处理器214(e)。热点处理器214接收dataset_uploaded通知，并开始从存储装置212优化ADF，并将得到的地图保存在服务器存储装置218处用于服务(f)。
热点处理器214更新与FIO存储装置222处的锚相关联的定位信息(g)。热点处理器214发送dataset_processed通知，并且上传服务器216通过清理来自短期存储装置212的数据集来响应dataset_processed通知(h)。
接下来，爱丽丝与鲍勃的iOS设备250共享anchor_id(i)。该步骤也可以更早发生(例如，在(a)之后)。
设备250在他的iOS设备上启动应用。ARKit 254运动跟踪从本地ARKit坐标框架开始。
设备250检索由爱丽丝共享的AR内容。特别地，锚(VPS)SDK 252调用具有anchor_id、camera_features、sos_t_imu和imu_t_camera的resolveAnchorPose()(j)。VPS服务器226检查访问控制224(k)。假设设备250可以访问内容，则VPS服务器226从锚获取adf_t_anchor，并将Localize()调用到云定位服务220，该云定位服务220使用来自(f)的Tile进行定位。VPS服务器226将camera_t_anchor返回到锚(VPS)SDK 252(l)。VPS SDK 252调用ARKit 254以创建用于ARKit跟踪的ARAnchor。
示例计算系统
图3描绘了根据本公开的示例实施例的示例计算系统100的框图。系统100包括通过网络180可通信地耦合的用户计算设备102、用户计算设备152和服务器计算系统130。例如，用户计算设备102、用户计算设备152与服务器计算系统130之间的通信可以通过使用应用编程接口来实现。
用户计算设备102可以是任何类型的计算设备，诸如例如个人计算设备(例如，膝上型计算机或台式计算机)、移动计算设备(例如，智能电话或平板计算机)、游戏控制台或控制器、可穿戴计算设备、嵌入式计算设备或任何其它类型的计算设备。
用户计算设备102包括一个或多个处理器112和存储器114。该一个或多个处理器112可以是任何合适的处理设备(例如，处理器核、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或可操作地连接的多个处理器。存储器114可以包括一个或多个非暂态计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等，及其组合。存储器114可以存储由处理器112执行以使用户计算设备102执行操作的指令118和数据116。
用户计算设备102可以包括软件开发工具包(SDK)120。SDK可以包括计算机可执行指令，该计算机可执行指令当由(一个或多个)处理器112执行时使用户计算设备102能够共享和接收用于三维对象的锚姿态。用户计算设备102还可以包括增强现实应用或引擎121。例如，增强现实应用或引擎121可以包括计算机可执行指令，该计算机可执行指令当由(一个或多个)处理器112执行时使用户计算设备102能够在用户计算设备102的显示器上渲染增强现实内容(例如，虚拟对象)。
用户计算设备102还可以包括接收用户输入的一个或多个用户输入组件122。例如，用户输入组件122可以是对用户输入对象(例如，手指或手写笔)的触摸敏感的触敏组件(例如，触敏显示屏或触摸板)。触敏组件可以用来实现虚拟键盘。其它示例用户输入组件包括麦克风、传统键盘或用户可通过其提供用户输入的其它手段。
用户计算设备102还可以包括一个或多个传感器123，诸如相机、加速度计、陀螺仪、雷达、激光雷达和/或多类型的传感器。传感器123可以收集描述用户计算设备102的周围环境的信息(例如，视觉信息)。
服务器计算系统130包括一个或多个处理器132和存储器134。该一个或多个处理器132可以是任何合适的处理设备(例如，处理器核、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或可操作地连接的多个处理器。存储器134可以包括一个或多个非暂态计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等，及其组合。存储器134可以存储由处理器132执行以使服务器计算系统130执行操作的指令138和数据136。
在一些实施方式中，服务器计算系统130包括一个或多个服务器计算设备或以其它方式由其实现。在服务器计算系统130包括多个服务器计算设备的情况下，此类服务器计算设备可以根据顺序计算体系结构、并行计算体系结构或其一些组合来操作。
服务器计算系统130可以包括视觉处理系统140。视觉处理系统140可以包括计算机可执行指令，该计算机可执行指令当被执行时使服务器计算系统接收、存储、索引并提供与虚拟锚相关联的姿态和环境信息。例如，视觉处理系统140可以至少部分地(例如，除了所示的设备200和250之外)实现图2所示的工作流。
视觉处理系统140可以与一个或多个数据库通信，所述一个或多个数据库诸如为：数据库141，其存储一个或多个区域描述文件(ADF)或其它类型的环境映射；数据库142，其存储一个或多个感兴趣框架(FOI)或其它类型的锚姿态数据；和/或数据库143，其存储可用于渲染一个或多个虚拟对象的数据。数据库可以是单个数据库，也可以是分布式数据库。虚拟对象可以是二维、三维、位置/形状固定的、动态的网格对象和/或其它类型的虚拟对象。
网络180可以是任何类型的通信网络，诸如局域网(例如，内联网)、广域网(例如，因特网)或其一些组合，并且可以包括任何数量的有线或无线链路。通常，可以使用各种通信协议(例如，TCP/IP、HTTP、SMTP、FTP)、编码或格式(例如，HTML、XML)和/或保护方案(例如VPN、安全HTTP、SSL)经由任何类型的有线和/或无线连接来承载通过网络180的通信。
图3示出可用于实现本公开的一个示例计算系统。也可以使用其它计算系统。
附加公开
本文讨论的技术参考服务器、数据库、软件应用和其它基于计算机的系统，以及采取的行动和发送往返此类系统的信息。基于计算机的系统的固有灵活性允许在组件之间以及组件之中进行多种可能的配置、组合以及任务和功能的划分。例如，本文讨论的过程可以使用单个设备或组件或组合工作的多个设备或组件来实现。数据库和应用可以在单个系统上实现，或可以跨多个系统分布。分布式组件可以顺序或并行操作。
计算设备可以指任何类型的计算设备，包括例如智能电话、膝上型计算机、台式计算机、服务器计算设备、嵌入式计算设备、游戏控制台、智能设备等。计算设备通常包括一个或多个处理器和存储器。该一个或多个处理器可以是任何合适的处理设备(例如，处理器核、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或可操作连接的多个处理器。存储器可以包括一个或多个非暂态计算机可读存储介质，诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等，及其组合。存储器可以存储由处理器执行以使计算设备执行操作的指令和数据。可以以软件、硬件、固件或其组合来实现计算设备的功能方面。
尽管已经关于本主题的各种特定示例实施例详细描述了本主题，但是每个示例都是通过说明的方式提供的，而不是对本公开的限制。本领域技术人员在获得了对前述内容的理解之后，可以容易地对此类实施例进行变更、变化和等同。因此，本公开并不排除如对本领域的普通技术人员而言显而易见的对本主题的此类修改、变化和/或添加的包含。例如，作为一个实施例的一部分示出或描述的特征可以与另一实施例一起使用以产生另一实施例。因此，本公开旨在覆盖此类变更、变化和等同。

Claims (20)

1.一种服务器计算系统，包括被配置为执行操作的一个或多个服务器计算设备，所述操作包括：
从第一计算设备接收描述所述第一计算设备的周围环境的数据和描述由所述第一计算设备的用户放置在所述第一计算设备的周围环境内的锚的姿态的数据，其中，虚拟对象与所述锚相关联；
将描述所述锚的姿态的数据存储在数据存储设备中；
从第二计算设备接收对所述锚的姿态的请求；以及
向所述第二计算设备提供描述所述锚的姿态的数据。
2.根据权利要求1所述的服务器计算系统，其中，所述一个或多个服务器计算设备经由一个或多个预定义的应用编程接口从所述第一计算设备和所述第二计算设备接收数据并向所述第一计算设备和所述第二计算设备提供数据。
3.根据权利要求1所述的服务器计算系统，其中，所述一个或多个服务器计算设备接收数据并将所述数据提供给由所述第一计算设备和所述第二计算设备实现的相应软件开发工具包。
4.根据权利要求1-3中任一项所述的服务器计算系统，其中：
由所述服务器计算系统从所述第一计算设备接收的描述所述第一计算设备的周围环境的数据包括描述所述第一计算设备的周围环境的一个或多个视觉特征的数据；以及
向所述第二计算设备提供描述所述锚的姿态的数据包括：向所述第二计算设备提供描述所述锚相对于所述周围环境的所述一个或多个视觉特征的姿态的数据。
5.根据权利要求1-3中任一项所述的服务器计算系统，其中：
由所述服务器计算系统从所述第一计算设备接收的描述所述第一计算设备的周围环境的数据包括描述所述第一计算设备的周围环境的一个或多个第一视觉特征的数据；
所述操作进一步包括：
从所述第二计算设备接收描述所述第二计算设备的第二周围环境的一个或多个第二视觉特征的数据；以及
将所述一个或多个第一视觉特征与所述一个或多个第二视觉特征匹配，以确定所述第二计算设备相对于所述第一计算设备的周围环境的第二姿态；以及
向所述第二计算设备提供描述所述锚的姿态的数据包括：向所述第二计算设备提供描述所述锚相对于所述第二计算设备的第二姿态的姿态的数据。
6.根据权利要求1-3中任一项所述的服务器计算系统，其中，向所述第二计算设备提供描述所述锚相对于所述第二计算设备的姿态的姿态的数据包括：
相对于所述第一计算设备的周围环境定位所述第二计算设备；以及
向所述第二计算设备提供描述所述锚相对于所述第二计算设备的定位位置的姿态的数据。
7.根据前述权利要求中任一项所述的服务器计算系统，其中，将描述所述锚的姿态的数据存储在数据存储设备中包括：生成并存储用于所述锚的感兴趣框架。
8.根据权利要求7所述的服务器计算系统，其中，所述感兴趣框架引用访问位置，在所述访问位置处能够访问使得能够渲染所述虚拟对象的数据。
9.根据前述权利要求中任一项所述的服务器计算系统，其中，将描述所述锚的姿态的数据存储在数据存储设备中包括：基于所述锚的定位来对所述锚进行索引。
10.根据前述权利要求中任一项所述的服务器计算系统，其中，所述操作进一步包括：基于描述所述第一计算设备的周围环境的数据来生成并存储区域描述文件。
11.根据权利要求8所述的服务器计算系统，其中，所述操作进一步包括：将所述区域描述文件与描述重叠环境的一个或多个其它区域描述文件合并。
12.根据前述权利要求中任一项所述的服务器计算系统，其中，所述操作进一步包括：
接收与所述第二计算设备相关联的近似位置；以及
识别邻近地定位到所述第二计算设备的多个锚。
13.根据前述权利要求中任一项所述的服务器计算系统，其中，所述操作进一步包括：在预定时间段到期之后删除所述锚。
14.根据前述权利要求中任一项所述的服务器计算系统，其中，所述操作进一步包括：
维护用于所述锚的访问控制列表；以及
基于所述访问控制列表，在向所述第二计算设备提供描述所述锚的姿态的数据之前，确保所述第二计算设备具有访问所述锚的权限。
15.一种计算设备，包括：
一个或多个处理器；以及
一个或多个非暂态计算机可读介质，其存储指令，所述指令当由所述一个或多个处理器执行时使所述计算设备执行操作，所述操作包括：
收集描述所述计算设备的周围环境的传感器数据；
从用户接收在所述计算设备的周围环境内生成用于虚拟对象的锚的请求；以及
经由应用编程接口向服务器计算系统提供描述所述计算设备的周围环境的数据和描述用于所述计算设备的周围环境内的虚拟对象的锚的姿态的数据。
16.根据权利要求15所述的计算设备，其中，所述计算设备通过实现包括在应用中的软件开发工具包来执行所述操作。
17.一个或多个非暂态计算机可读介质，其存储指令，所述指令当由一个或多个处理器执行时使所述一个或多个处理器执行操作，所述操作包括：
经由应用编程接口从服务器计算系统接收描述计算设备的周围环境内的虚拟对象的锚的姿态的数据；以及
根据所述锚的姿态，在所述计算设备的显示器上渲染所述计算设备的周围环境内的虚拟对象。
18.根据权利要求17所述的一个或多个非暂态计算机可读介质，其中，所述操作进一步包括：
收集描述所述计算设备的周围环境的传感器数据；
经由所述应用编程接口从所述服务器计算系统接收描述所述计算设备的周围环境的区域描述文件；以及
基于所述传感器数据和所述区域描述文件，相对于所述锚的姿态定位所述计算设备。
19.根据权利要求17所述的一个或多个非暂态计算机可读介质，其中，所述操作进一步包括：
收集描述所述计算设备的周围环境的传感器数据；
经由所述应用编程接口向所述服务器计算系统发送描述所述计算设备的周围环境的传感器数据；以及
经由所述应用编程接口从所述服务器计算系统接收基于所述传感器数据的所述计算设备相对于所述锚的姿态的定位。
20.根据权利要求17-19中任一项所述的一个或多个非暂态计算机可读介质，其中，所述计算设备通过实现包括在应用中的软件开发工具包来执行所述操作。
CN201980028952.5A 2018-05-07 2019-05-07 用于将虚拟对象锚定到物理位置的系统和方法 Pending CN112074797A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862668205P 2018-05-07 2018-05-07
US62/668,205 2018-05-07
PCT/US2019/031152 WO2019217443A1 (en) 2018-05-07 2019-05-07 Systems and methods for anchoring virtual objects to physical locations

Publications (1)

Publication Number Publication Date
CN112074797A true CN112074797A (zh) 2020-12-11

Family

ID=66669073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980028952.5A Pending CN112074797A (zh) 2018-05-07 2019-05-07 用于将虚拟对象锚定到物理位置的系统和方法

Country Status (4)

Country Link
US (1) US10937249B2 (zh)
EP (1) EP3746869A1 (zh)
CN (1) CN112074797A (zh)
WO (1) WO2019217443A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10997761B2 (en) * 2018-11-09 2021-05-04 Imaginear Inc. Systems and methods for creating and delivering augmented reality content
CN113508361A (zh) * 2019-05-06 2021-10-15 苹果公司 用于呈现计算机生成现实文件的设备、方法和计算机可读介质
US11704874B2 (en) * 2019-08-07 2023-07-18 Magic Leap, Inc. Spatial instructions and guides in mixed reality
CN111179435B (zh) * 2019-12-24 2024-02-06 Oppo广东移动通信有限公司 增强现实处理方法及装置、系统、存储介质和电子设备
CN111476873B (zh) * 2020-03-12 2023-11-10 浙江工业大学 一种基于增强现实的手机虚拟涂鸦方法
CN111445583B (zh) * 2020-03-18 2023-08-01 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
US11120639B1 (en) * 2020-04-24 2021-09-14 Microsoft Technology Licensing, Llc Projecting telemetry data to visualization models
EP3916522A1 (en) * 2020-05-26 2021-12-01 Inter Ikea Systems B.V. System, method, device and computer program product for connecting users to a persistent ar environment
EP4161054A4 (en) * 2020-05-28 2023-09-13 Beijing Xiaomi Mobile Software Co., Ltd. Nanjing Branch ANCHOR POINT INFORMATION PROCESSING METHOD, DEVICE AND APPARATUS AND STORAGE MEDIUM
CN116057580A (zh) * 2020-07-21 2023-05-02 交互数字Ce专利控股有限公司 用于增强现实中的锚点的辅助数据
EP4047558A1 (en) * 2021-02-17 2022-08-24 Miehee Ju Kim System for generating 3d mobile augmented reality
US11557100B2 (en) * 2021-04-08 2023-01-17 Google Llc Augmented reality content experience sharing using digital multimedia files
US11842444B2 (en) * 2021-06-02 2023-12-12 Streem, Llc Visualization of camera location in a real-time synchronized 3D mesh
US20220414988A1 (en) * 2021-06-28 2022-12-29 Microsoft Technology Licensing, Llc Guidance system for the creation of spatial anchors for all users, including those who are blind or low vision
US20230058154A1 (en) * 2021-08-19 2023-02-23 Meta Platforms Technologies, Llc Methods and systems to allow three-dimensional map sharing between heterogeneous computing systems, cross-localization, and sharing content in three-dimensional space

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120023253A1 (en) * 2010-07-20 2012-01-26 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving adaptive streaming mechanism-based content
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实系统中将虚拟图像锚定到真实世界表面
US20170345167A1 (en) * 2016-05-31 2017-11-30 Microsoft Technology Licensing, Llc Systems and methods for utilizing anchor graphs in mixed reality environments

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6636953B2 (en) * 2000-05-31 2003-10-21 Matsushita Electric Co., Ltd. Receiving apparatus that receives and accumulates broadcast contents and makes contents available according to user requests
KR20100104059A (ko) * 2009-03-16 2010-09-29 삼성전자주식회사 자동 판매 장치 및 그의 광고 제공 방법
US9729670B2 (en) * 2011-12-15 2017-08-08 Sony Corporation Information processing system and content download method
US8922590B1 (en) * 2013-10-01 2014-12-30 Myth Innovations, Inc. Augmented reality interface and method of use
US10791109B2 (en) * 2016-02-10 2020-09-29 Red Hat, Inc. Certificate based expiration of file system objects
US10373381B2 (en) * 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
US10037626B2 (en) * 2016-06-30 2018-07-31 Microsoft Technology Licensing, Llc Interaction with virtual objects based on determined restrictions
CN106170004B (zh) * 2016-09-23 2020-11-20 北京小米移动软件有限公司 处理验证码的方法及装置
US9754397B1 (en) * 2017-04-07 2017-09-05 Mirage Worlds, Inc. Systems and methods for contextual augmented reality sharing and performance
DK180842B1 (en) * 2018-01-24 2022-05-12 Apple Inc Devices, procedures, and graphical user interfaces for System-Wide behavior for 3D models
US10438414B2 (en) * 2018-01-26 2019-10-08 Microsoft Technology Licensing, Llc Authoring and presenting 3D presentations in augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120023253A1 (en) * 2010-07-20 2012-01-26 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving adaptive streaming mechanism-based content
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实系统中将虚拟图像锚定到真实世界表面
US20170345167A1 (en) * 2016-05-31 2017-11-30 Microsoft Technology Licensing, Llc Systems and methods for utilizing anchor graphs in mixed reality environments

Also Published As

Publication number Publication date
EP3746869A1 (en) 2020-12-09
US20190340836A1 (en) 2019-11-07
WO2019217443A1 (en) 2019-11-14
WO2019217443A9 (en) 2020-11-12
US10937249B2 (en) 2021-03-02

Similar Documents

Publication Publication Date Title
US10937249B2 (en) Systems and methods for anchoring virtual objects to physical locations
US9558559B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US11127210B2 (en) Touch and social cues as inputs into a computer
CN110954083B (zh) 移动设备的定位
CN107850779B (zh) 虚拟位置定位锚
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
US9077891B1 (en) Depth determination using camera focus
US11922560B2 (en) Connecting spatial anchors for augmented reality
CN106846497B (zh) 应用于终端的呈现三维地图的方法和装置
US20180047213A1 (en) Method and apparatus for providing augmented reality-based dynamic service
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
US11430211B1 (en) Method for creating and displaying social media content associated with real-world objects or phenomena using augmented reality
US9600720B1 (en) Using available data to assist in object recognition
EP2713272A1 (en) Method, device and system for presenting augmented reality contents
KR20170125618A (ko) 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 방법 및 이를 지원하는 전자 장치
JP7337428B1 (ja) 対象物の双方向な三次元表現の制御方法、制御装置及び記録媒体
TW201814552A (zh) 空間物件搜尋排序方法、系統與電腦可讀取儲存裝置
CN115516406B (zh) 使用生物数据进行的深度估计
US9488489B2 (en) Personalized mapping with photo tours
CN106462628B (zh) 用于向用户自动推送位置特定内容的系统和方法
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
GB2513865A (en) A method for interacting with an augmented reality scene
CN114117092A (zh) 远程协作方法、装置、电子设备和计算机可读介质
US20230319426A1 (en) Traveling in time and space continuum

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination