CN113631886A - 增强现实引导界面 - Google Patents

增强现实引导界面 Download PDF

Info

Publication number
CN113631886A
CN113631886A CN202080023979.8A CN202080023979A CN113631886A CN 113631886 A CN113631886 A CN 113631886A CN 202080023979 A CN202080023979 A CN 202080023979A CN 113631886 A CN113631886 A CN 113631886A
Authority
CN
China
Prior art keywords
presentation
interest
environment
sign
destination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080023979.8A
Other languages
English (en)
Inventor
P·考伯恩
D·李
I·A·穆勒桑德维克
Q·潘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN113631886A publication Critical patent/CN113631886A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3632—Guidance using simplified or iconic instructions, e.g. using arrows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0259—Targeted advertisements based on store location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在此描述的示例实施例涉及执行操作的AR引导系统，其中操作包括：在地理围栏区域内的位置处检测客户端设备，其中，地理围栏区域可在其内包括感兴趣目的地；在地理围栏区域内确定从客户端设备的位置到感兴趣目的地的路线；导致在客户端设备处在AR界面内显示环境的呈现；在环境的呈现内检测现实世界标牌的显示；响应于在环境的呈现内检测到标牌的显示，生成媒体项，其中，媒体项是基于到感兴趣目的地的路线；以及基于标牌在环境的呈现内的位置，在AR界面内显示媒体项。

Description

增强现实引导界面
优先权要求
本申请要求于2019年3月26日提交的美国专利申请序列号16/365,256的优先权权益，该申请的全部内容通过引用并入本文。
技术领域
本公开的实施例一般涉及图形用户界面(GUI)，更具体地，涉及用于生成并导致在GUI内显示增强现实(AR)内容的系统。
背景技术
增强现实(AR)是物理的现实世界环境的生动的直接或间接视图，该视图的元素通过计算机生成的感觉输入来增强。
在非相关领域中，转弯提示导航是一些导航设备的特征，其中，所选路线的方向以口头形式或在一些情况下以视觉指令的形式被连续呈现给用户。
附图说明
为了容易识别对任何特定元素或动作的讨论，附图标记中的一个或多个最高有效数字是指首次引入该元素的图编号。
图1是示出根据一些实施例的用于通过网络交换数据(例如，消息和相关联的内容)的示例消息传递系统的框图，其中消息传递系统包括增强现实(AR)系统。
图2是示出根据示例实施例的关于消息传递系统的进一步细节的框图。
图3是示出根据某些示例实施例的AR系统的各种模块的框图。
图4是示出根据某些示例实施例的用于在客户端设备处呈现AR内容的方法的流程图。
图5是示出根据某些示例实施例的用于在客户端设备处呈现AR内容的方法的流程图。
图6是示出根据某些示例实施例的用于在客户端设备处呈现AR内容的方法的流程图。
图7是根据某些示例实施例的描绘AR内容的界面图。
图8是根据某些示例实施例的描绘AR内容的界面图。
图9是示出可结合在本文中描述并用于实现各种实施例的各种硬件架构使用的代表性软件架构的框图。
图10是示出根据一些示例实施例的能够从机器可读介质(例如，机器可读存储介质)读取指令并执行在本文讨论的任何一种或多种方法的机器的组件的框图。
具体实施方式
如上所述，AR系统向用户提供图形用户界面(GUI)以显示物理的现实世界环境的实时直接或间接视图，其中视图的元素通过计算机生成的传感器输入来增强。例如，AR界面可以在现实世界环境的视图的显示内的位置处呈现媒体内容，以使得媒体内容看起来与现实世界环境中的元素进行交互。
通过使用AR系统并在转弯提示导航系统的上下文中实现它，交互式AR引导系统可以被配置为使用现实世界标牌来将用户引导到特定位置。例如，可以通过首先确定用户的目的地、然后计算到目的地的路线来导航用户穿过城市。然后，AR引导系统可以识别现实世界标牌(例如，标志杆、悬挂标志等)，并通过在AR显示器内添加(即叠加)接近现实世界标牌的附加标牌或者在AR显示器中修改已有的现实世界标牌来“增强”标牌的呈现。所修改或添加的标牌可被定向为将用户指向用户应当走的方向以便到达他们的最终目的地，并且在一些实施例中可以包括动画或其它媒体内容。
因此，在本文中描述的示例实施例涉及一种执行操作的AR引导系统，该操作包括：在地理围栏区域内的位置处检测客户端设备，其中，地理围栏区域可以在其内包括感兴趣目的地；在地理围栏区域内确定从客户端设备的位置到感兴趣目的地的路线；导致在客户端设备处在AR界面内显示环境的呈现；在环境的呈现内检测现实世界标牌的显示；响应于在环境的呈现内检测到标牌的显示，生成媒体项，其中，媒体项是基于到感兴趣目的地的路线；以及基于标牌在环境的呈现内的位置，导致在AR界面内显示媒体项。
根据一些示例实施例，基于在地理围栏区域内到感兴趣目的地的路线来生成媒体项可以包括：基于客户端设备相对于感兴趣目的地的位置以及到感兴趣目的地的路线，确定行进方向，以及选择包括图形符号(诸如箭头)的方向指示符以向用户指示行进方向。
在一些实施例中，AR引导系统可以识别在环境的呈现内检测到的标牌的属性或特征，以便生成样式模板以配置AR媒体项。属性或特征可以包括标牌的形状、标牌的颜色、在标牌上显示的图形、物理特性(例如，损坏、闪烁的灯光)、在标牌上显示的文本的字体、文本的字符权重、以及标牌的大小。这样做使AR引导系统能够以看起来像媒体项与已有的现实世界标牌相匹配的方式生成可在AR界面内呈现的媒体项。
在一些实施例中，响应于在感兴趣目的地的阈值距离内检测到客户端设备，AR引导系统可以检索或以其它方式访问与阈值距离(或者阈值距离和感兴趣目的地)相关联的媒体内容。然后，可以在AR界面内在环境内检测到的标牌之上呈现所检索的媒体内容。例如，媒体内容可以被呈现为鼓励用户继续遵循由方向指示符呈现的路径的激励(例如，“你正在接近！”)。在一些实施例中，可以基于与客户端设备的用户相关联的一个或多个用户属性(诸如姓名或用户名)以及特定人口统计信息来定制或修改媒体内容。
在一些示例实施例中，响应于在地理围栏区域内检测到客户端设备，AR引导系统可以访问与客户端设备相关联的用户简档以取得用户简档信息。然后，AR引导系统可以使用用户简档信息来选择用户的感兴趣目的地。
从用户的角度考虑说明性示例。用户可以进入地理围栏区域，诸如游乐园或市区。响应于在地理围栏区域内检测到用户，AR引导系统检索与用户相关联的用户简档信息，并识别在地理围栏区域内的用户的感兴趣目的地。然后，AR引导系统计算到感兴趣目的地的路线，并开始识别在用户的客户端设备的AR界面内呈现的标牌。然后，AR引导系统可以通过修改已有的标牌或将标牌添加到已有的标牌以提供将用户引导到感兴趣目的地的方向指示符来增强用户的环境的呈现。当用户接近感兴趣目的地时，AR引导系统可以检索与感兴趣目的地相关联的媒体内容，并进一步使用该媒体内容来增强标牌。
图1是示出用于通过网络交换数据(例如，消息和相关联的内容)的示例消息传递系统100的框图。消息传递系统100包括多个客户端设备102，每个客户端设备托管包括消息传递客户端应用104的多个应用。每个消息传递客户端应用104经由网络106(例如，互联网)通信地耦合到消息传递客户端应用104的其它实例和消息传递服务器系统108。
因此，每个消息传递客户端应用104能够经由网络106与另一个消息传递客户端应用104以及与消息传递服务器系统108通信并交换数据。在消息传递客户端应用104之间以及在消息传递客户端应用104与消息传递服务器系统108之间交换的数据包括功能(例如，调用功能的命令)以及有效载荷数据(例如，文本、音频、视频或其它多媒体数据)。
消息传递服务器系统108经由网络106向特定消息传递客户端应用104提供服务器侧功能。虽然消息传递系统100的某些功能在此被描述为由消息传递客户端应用104或由消息传递服务器系统108执行，但是可以理解，某些功能在消息传递客户端应用104内或在消息传递服务器系统108内的位置是设计选择。例如，在技术上优选的是最初在消息传递服务器系统108内部署特定技术和功能，但稍后在客户端设备102具有足够的处理能力的情况下将该技术和功能迁移到消息传递客户端应用104。
消息传递服务器系统108支持被提供给消息传递客户端应用104的各种服务和操作。这种操作包括向消息传递客户端应用104发送数据，从消息传递客户端应用104接收数据，以及处理由消息传递客户端应用104生成的数据。在一些实施例中，作为示例，该数据包括消息内容、客户端设备信息、地理位置信息、媒体注释和叠加、消息内容持久性条件、社交网络信息、和直播事件信息。在其它实施例中，使用其它数据。通过经由消息传递客户端应用104的GUI可用的功能来调用和控制消息传递系统100内的数据交换。
现在具体转到消息传递服务器系统108，应用程序接口(API)服务器110被耦合到应用服务器112，并向应用服务器112提供编程接口。应用服务器112通信地耦合到数据库服务器118，该数据库服务器118便于对数据库120的访问，在该数据库120中存储了与由应用服务器112处理的消息相关联的数据。
具体处理应用程序接口(API)服务器110，该服务器接收和发送客户端设备102与应用服务器112之间的消息数据(例如，命令和消息有效载荷)。具体地，应用程序接口(API)110提供可由消息传递客户端应用104调用或查询的一组接口(例如，例程和协议)，以便调用应用服务器112的功能。应用程序接口(API)服务器110开放由应用服务器112支持的各种功能，包括账户注册、登录功能、经由应用服务器112从特定消息传递客户端应用104到另一个消息传递客户端应用104的消息发送、从消息传递客户端应用104到消息传递服务器应用114的媒体文件(例如，图像或视频)发送、以及针对另一个消息传递客户端应用104的可能访问的媒体数据集合(例如，故事)的设置、检索客户端设备102的用户的朋友列表、检索这种集合、检索消息和内容、对社交图添加和删除朋友、朋友在社交图内的位置、打开和应用事件(例如，与消息传递客户端应用104有关)。
应用服务器112托管多个应用和子系统，其包括消息传递服务器应用114、图像处理系统116、社交网络系统122、以及增强现实(AR)系统124。消息传递服务器应用114实现多种消息处理技术和功能，特别是与在从消息传递客户端应用104的多个实例接收的消息中包括的内容(例如，文本和多媒体内容)的聚合和其它处理有关的消息处理技术和功能。如将进一步详细描述的，来自多个源的文本和媒体内容可以被聚合成内容集合(例如，被称为故事、图库(gallery)、或集合)。然后，由消息传递服务器应用114使这些集合对于消息传递客户端应用104可用。鉴于用于其它处理器和存储器密集的数据处理的硬件要求，也可以由消息传递服务器应用114在服务器侧执行这种处理。
应用服务器112还包括图像处理系统116，该图像处理系统116专用于执行各种图像处理操作，典型地针对在消息传递服务器应用114处在消息的有效载荷内接收的图像或视频的图像处理操作。
社交网络系统122支持各种社交网络功能服务，并使这些功能和服务对于消息传递服务器应用114可用。为此，社交网络系统122维护和访问数据库120内的实体图304。由社交网络系统122支持的功能和服务的示例包括消息传递系统100的与特定用户有关系或特定用户正“关注”的其它用户的标识、以及其它实体的标识和特定用户的兴趣。
应用服务器112通信地耦合到数据库服务器118，该数据库服务器118便于对数据库120的访问，在该数据库120中存储了与由消息传递服务器应用114处理的消息相关联的数据。
图2是示出根据示例实施例的关于消息传递系统100的进一步细节的框图。具体地，消息传递系统100被示为包括消息传递客户端应用104和应用服务器112，它们进而包含一些子系统，即短时定时器系统202、集合管理系统204和注释系统206。
短时定时器系统202负责执行对由消息传递客户端应用104和消息传递服务器应用114允许的内容的短时访问。为此，短时定时器系统202合并了多个定时器，这些定时器基于与消息、消息集合、或图形元素相关联的持续时间和显示参数，选择性地显示消息和相关联的内容以及使得能够经由消息传递客户端应用104访问消息和相关联的内容。下面提供关于短时定时器系统202的操作的进一步细节。
集合管理系统204负责管理媒体集合(例如，包括文本集合、图像视频集合和音频数据集合的媒体集合)。在一些示例中，内容集合(例如，消息，包括图像、视频、文本和音频)可以被组织成“事件图库”或“事件故事”。这种集合可以在指定时间段(诸如内容所相关的事件的持续时间)内可用。例如，与音乐会有关的内容可以在该音乐会期间作为“故事”可用。集合管理系统204还可以负责发布向消息传递客户端应用104的用户界面提供存在特定集合的通知的图标。
此外，集合管理系统204包括策展界面208，其允许集合管理者管理和策展特定内容集合。例如，策展界面208使事件组织者能够策展与特定事件有关的内容集合(例如，删除不适当的内容或冗余消息)。此外，集合管理系统204采用机器视觉(或图像识别技术)和内容规则来自动策展内容集合。在某些实施例中，可以向用户支付补偿以将用户生成的内容包括到集合中。在这种情况下，策展界面208操作以自动向这种用户支付使用他们的内容的费用。
注释系统206提供使用户能够注释或以其它方式修改或编辑媒体内容(诸如由用户接收的要被转发或重新分发给一个或多个接收方的用户支持内容)的各种功能。例如，注释系统206提供与针对由消息传递系统100处理的消息生成和发布媒体叠加相关的功能。注释系统206基于客户端设备102的地理位置而将媒体叠加可操作地提供给消息传递客户端应用104。在另一示例中，注释系统206基于诸如客户端设备102的用户的社交网络信息的其它信息而将媒体叠加可操作地提供给消息传递客户端应用104。媒体叠加可包括视听内容和视觉效果以及增强现实叠加。视听内容的示例包括图片、文本、标识、动画、和音效、以及动画面部模型、图像滤镜和增强现实媒体内容。视觉效果的示例包括颜色叠加。视听内容或视觉效果可以在客户端设备102处被应用于媒体内容项(例如，照片或视频或直播流)。例如，媒体叠加包括可被叠加在由客户端设备102拍摄的照片之上的文本。在另一示例中，媒体叠加包括位置叠加的标识(例如，威尼斯海滩)、直播事件的名称、或商家叠加的名称(例如，海滩咖啡馆)。在另一示例中，注释系统206使用客户端设备102的地理位置来识别包括在客户端设备102的地理位置处的商家的名称的媒体叠加。媒体叠加可以包括与商家相关联的其它标记。媒体叠加可以被存储在数据库120中并通过数据库服务器118被访问。
在一个示例实施例中，注释系统206提供基于用户的发布平台，该平台使用户能够在地图上选择地理位置，并上传与所选择的地理位置相关联的内容。用户还可以指定应当向其他用户提供特定媒体叠加的情况。注释系统206生成包括上传内容并将上传内容与所选择的地理位置相关联的媒体叠加。
在另一个示例实施例中，注释系统206提供基于商家的发布平台，该平台使商家能够选择与地理位置相关联的特定媒体叠加。例如，注释系统206在预定义的时间量内将出价最高商家的媒体叠加与对应的地理位置相关联。
图3是示出AR系统124的组件的框图，这些组件将AR系统124配置为在地理围栏区域内检测客户端设备102，基于与客户端设备102相关联的一个或多个属性来识别感兴趣目的地，在地理围栏区域内生成从客户端设备102的位置到感兴趣目的地的路线，在客户端设备102处在环境的呈现内检测标牌，基于到感兴趣目的地的路线来选择方向指示符，并基于在客户端设备102处在AR界面内的标牌，导致在位置处显示方向指示符。AR系统124被示为包括媒体模块302、用户简档模块304、全球定位系统(GPS)模块306和呈现模块308，它们全部被配置为彼此通信(例如，经由总线、共享存储器、或交换机)。这些模块中的任何一个或多个可以使用一个或多个处理器310来实现(例如，通过配置这样的一个或多个处理器以执行针对该模块描述的功能)，并因此可以包括一个或多个处理器310。
可以单独使用硬件(例如，机器的处理器310中的一个或多个处理器)或硬件和软件的组合来实现所描述的模块中的任何一个或多个。例如，AR系统124的所描述的任何模块可以物理地包括处理器310中的一个或多个(例如，机器的一个或多个处理器中的或其子集)的布置，其被配置为执行在此针对该模块描述的操作。作为另一个示例，AR系统124的任何模块可以包括软件、硬件、或二者，其配置一个或多个处理器310(例如在机器的一个或多个处理器之中的)的布置以执行在此针对该模块描述的操作。因此，AR系统124的不同模块可包括并配置这种处理器310的不同布置或这种处理器310在不同时间点的单个布置。此外，AR系统124的任何两个或更多个模块可以被组合成单个模块，并且在此针对单个模块描述的功能可被细分在多个模块之中。此外，根据各种示例实施例，在此描述为在单个机器、数据库或设备内实现的模块可以被分布在多个机器、数据库或设备上。
图4是示出根据某些示例实施例的用于显示交互式信息界面的方法400的流程图。方法400的操作可以由以上关于图3描述的模块来执行。如图4所示，方法400包括一个或多个操作402、404、406、408、410和412。
在操作402处，GPS模块306在地理围栏区域内的位置处检测客户端设备102，其中地理围栏区域包括一个或多个感兴趣目的地。
在一些实施例中，一个或多个感兴趣目的地的每一个可与预定义的一组用户或设备属性、或者用户上下文(诸如一天中的时间或相对位置)相关联。响应于在地理围栏区域内检测到客户端设备102，媒体模块302基于用户或设备属性或者用户上下文来识别感兴趣目的地。用户或设备属性可以包括用户简档信息，诸如人口统计信息(例如，年龄/年龄范围、位置、性别身份)和用户行为(例如，喜好、关注等)。用户上下文可以包括一天中的时间、季节、用户在地理围栏区域内的位置(例如，沿着地理围栏区域的边界的用户进入地理围栏区域的位置)。
在操作404处，GPS模块306在地理围栏区域内确定从客户端设备102的位置到感兴趣目的地的路线。该路线可以包括“最快路线”、以及基于感兴趣目的地、用户属性和用户上下文的预定义路线。
例如，基于设备的位置和特定用户简档信息，感兴趣目的地可与一条或多条路线相关联，以使得拥有特定用户简档信息的用户可以沿着最快路线被引导到感兴趣目的地，而拥有另一组用户简档信息的用户可以沿着不同的路线被引导。
在操作406处，呈现模块308导致在客户端设备102处显示环境的呈现。环境的呈现可以由与客户端设备102相关联的相机生成并在客户端设备102处被显示在AR界面内。
在操作408处，媒体模块302在环境的呈现内的位置处检测标牌的显示。根据某些示例实施例，媒体模块302可以采用一种或多种图像或模式识别技术。
在一些实施例中，媒体模块302可以基于一种或多种感兴趣颜色(例如，停止标志上的红色阴影、高速公路标志上的绿色阴影、交通标志上的黄色阴影)的存在来识别标牌。例如，媒体模块302可以使用与客户端设备102相关联的相机来检测一种或多种感兴趣颜色。
在一些实施例中，媒体模块302可以采用基于形状的检测方法或基于拐角的检测方法。例如，在这种实施例中，媒体模块302可以被配置为采用广义霍夫变换以用于在图像中寻找形状，其中可以在图像内检测诸如多边形的预定义形状。
在一些实施例中，媒体模块302可以通过利用机器学习技术、通过使用包括各种类型的标牌(例如，街道标志、车牌、商店标志等)的图像的训练数据训练媒体模块302，在环境的呈现内检测标牌。
在操作410处，基于标牌在环境的呈现内的位置和到感兴趣目的地的路线，媒体模块302在AR界面内生成媒体项。例如，媒体项可以包括与感兴趣目的地相关联的媒体内容以及将用户引导到感兴趣目的地的方向指示符(例如，箭头)。
在一些实施例中，媒体模块302可以基于到感兴趣目的地的路线以及与客户端设备102相关联的一个或多个属性(诸如用户简档信息)来生成媒体项。例如，媒体模块302可以检索与客户端设备102的用户相关联的用户标识符，并生成定制的媒体项以将客户端设备102的用户引导到感兴趣目的地(例如，“在此左转，用户_A！”)。在某些实施例中，用户简档信息可以另外包括语言偏好。
在操作412处，呈现模块308导致在客户端设备102在AR界面内在标牌在环境的呈现内的位置处显示由媒体模块302生成的媒体项。从而，客户端设备102可以通过在环境的呈现内呈现的现实世界标牌之上呈现方向指示符来呈现描绘将用户引导到感兴趣目的地的方向指示符的AR界面。
图5是示出根据某些示例实施例的用于在客户端设备102处呈现AR内容的方法500的流程图。方法500的操作可以由上面关于图3描述的模块来执行。如图5所示，方法500包括一个或多个操作502、504、506和508，它们可以作为在图4中描绘的方法400的一部分(例如，子例程)来执行。
在操作502处，GPS模块306在感兴趣目的地的阈值距离内检测客户端设备102。例如，感兴趣目的地本身可以包含多个阈值，其中每个阈值与在越过阈值时要被呈现给设备的媒体内容相关联。因此，响应于确定到感兴趣目的地的路线，如在方法400的操作404中，GPS模块306可以在数据库120处从与感兴趣目的地相关联的存储器位置检索阈值，以便响应于检测到客户端设备102越过阈值而在客户端设备102处触发事件。
在操作504处，响应于GPS模块306在感兴趣目的地的阈值距离内检测到客户端设备102，媒体模块302访问与感兴趣目的地的阈值相关联的媒体内容。例如，与阈值相关联的媒体内容可以包括到感兴趣目的地的距离的指示以及鼓励客户端设备102的用户在路线上继续的其它激励。这种激励可以包括要在AR界面内呈现的图像和动画。
在操作506处，媒体模块302在客户端设备102处在环境的呈现内检测标牌的显示，并且在操作508处，基于标牌的显示，生成并在AR界面内的位置处显示与感兴趣目的地的阈值相关联的媒体内容的呈现。
例如，媒体内容可以包括指示客户端设备102的用户距感兴趣目的地一定距离(例如，五十英尺，十二秒差距)的图形元素。
图6是示出根据某些示例实施例的用于在客户端设备102处呈现AR内容的方法600的流程图。方法600的操作可以由以上关于图3描述的模块来执行。如图6所示，方法600包括一个或多个操作602、604和606，这些操作可以作为在图4中描绘的方法400的一部分(例如，子例程)来执行。
在操作602处，如在方法400的操作408和方法500的操作506中，媒体模块302在客户端设备102处在环境的呈现内检测标牌。因此，在环境的呈现内检测到的标牌可包括一个或多个图形特性，诸如字体、字符权重、字符样式、颜色、形状、大小、以及退色(即损坏)、或在标牌上描绘的任何图案或图形。
在操作604处，媒体模块302基于由媒体模块302检测到的标牌的一个或多个图形特性来生成标牌的样式模板。由此，样式模板可以定义要在AR界面内生成并呈现的媒体项的一组图形参数。在操作606处，媒体模块302基于由样式模板定义的一个或多个图形特性来生成媒体项。
图7是描绘的在客户端设备102处在AR界面705B中呈现的AR内容715和720的界面图形700，如在图4、5和6中描绘的方法400、500和600中所描述的。
如在界面图形700中可见的，客户端设备102A可以导致显示环境705A的呈现，其中，环境705A的呈现包括标牌(诸如标牌710A)的显示。
响应于检测到标牌710A，如在环境705A的呈现中可见的，AR引导系统124生成并导致显示AR内容715和720，其中，AR内容715和720包括媒体项，诸如方向指示符，以将客户端设备102的用户引导到感兴趣目的地。
根据某些实施例并如在界面图形700中所描绘的，媒体项可以被叠加在环境705A的呈现之上以生成AR界面705B。在一些实施例中，媒体项715和720可以基于客户端设备102相对于对应标牌的视角和位置而是动态的。
图8是描绘在客户端设备102处在AR界面805B中呈现的AR内容815的界面图形800，如在图4、5和6中描绘的方法400、500和600中所描述的。
如方法600的操作604中所讨论的，AR引导系统124可以基于在环境805A的呈现内检测到的标牌810的一个或多个图形特性来生成样式模板。一个或多个图形特性可以例如包括在标牌810上显示的文本的字体、字体的字符权重、颜色、以及大小。
基于一个或多个图形特性，AR引导系统124基于标牌810的位置来生成并在AR界面805B内的位置处显示AR内容815。如在界面图形800中可见的，AR内容包括与来自标牌810的文本的相同字体和样式相匹配的文本。
根据某些实施例并如在界面图形800中所描绘的，AR内容815可以包括在已有标牌之上的叠加以及包括在现实世界标牌810中实际上并不存在的新标牌的媒体内容。例如，如在AR界面805B中可见的，AR引导系统124扩展标牌810以包括在AR内容815中呈现的方向指示符。
软件架构
图9是示出可与在此描述的各种硬件架构结合使用的示例软件架构906的框图。图9是软件架构的非限制性示例，并且将理解，可以实现许多其它架构以促进在此描述的功能。软件架构906可以在硬件(诸如图10的机器1000)上执行，该机器1000除了其它方面外还包括处理器1004、存储器1014和I/O组件1018等。代表性的硬件层952被示出并可以表示例如图9的机器900。代表性的硬件层952包括具有相关联的可执行指令904的处理单元954。可执行指令904表示软件架构906的可执行指令，包括在此描述的方法、组件等的实现。硬件层952还包括也具有可执行指令904的存储器和/或存储模块存储器/存储设备956。硬件层952还可以包括其它硬件958。
在图9的示例架构中，软件架构906可以被概念化为层的堆叠，其中每个层提供特定功能。例如，软件架构906可以包括诸如操作系统902、库920、应用程序916和表示层914的层。在操作上，在层内的应用程序916和/或其它组件可以通过软件堆栈来调用应用编程接口(API)API调用908，并接收响应作为对API调用908的响应。所示的层在本质上是代表性的，并且并非所有软件架构都具有所有层。例如，一些移动或专用操作系统可以不提供框架/中间件918，而其它操作系统可提供这种层。其它软件架构可以包括附加或不同的层。
操作系统902可以管理硬件资源并提供公共服务。操作系统902可以包括例如内核922、服务924和驱动器926。内核922可以充当硬件与其它软件层之间的抽象层。例如，内核922可以负责存储器管理、处理器管理(例如，调度)、组件管理、联网、安全设置等。服务924可以为其它软件层提供其它公共服务。驱动器926负责控制硬件或与底层硬件相接。例如，取决于硬件配置，驱动器926包括显示驱动器、相机驱动器、
Figure BDA0003276690120000141
驱动器、闪存驱动器、串行通信驱动器(例如，通用串行总线(USB)驱动器)、
Figure BDA0003276690120000142
驱动器、音频驱动器、电源管理驱动器等等。
库920提供由应用程序916和/或其它组件和/或层使用的公共基础结构。库920提供允许其它软件组件以比直接与底层操作系统902功能(例如，内核922、服务924和/或驱动器926)相接更容易的方式执行任务的功能。库920可以包括系统库944(例如，C标准库)，其可以提供诸如存储器分配功能、字符串操作功能、数学功能等的功能。另外，库920可以包括API库946，诸如媒体库(例如，用于支持各种媒体格式(诸如MPREG4、H.264、MP3、AAC、AMR、JPG、PNG)的呈现和操作的库)、图形库(例如，可用于在显示器上的图形内容中渲染二维和三维的OpenGL框架)、数据库库(例如，可提供各种关系数据库功能的SQLite)、网络库(例如，可提供网络浏览功能的WebKit)等。库920还可以包括各种其它库948，以向应用程序916和其它软件组件/模块提供许多其它API。
框架/中间件918(有时也被称为中间件)提供可由应用程序916和/或其它软件组件/模块使用的更高级别的公共基础结构。例如，框架/中间件918可以提供各种图形用户界面(GUI)功能、高级资源管理、高级位置服务等。框架/中间件918可以提供可由应用程序916和/或其它软件组件/模块使用的许多其它API，其中的一些可以特定于特定操作系统902或平台。
应用程序916包括内置式应用程序938和/或第三方应用程序940。代表性的内置式应用程序938的示例可包括但不限于联系人应用程序、浏览器应用程序、书籍阅读器应用程序、位置应用程序、媒体应用程序、消息传递应用程序、和/或游戏应用程序。第三方应用程序940可以包括由特定平台的供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用程序，并且可以是在移动操作系统(诸如IOSTM、ANDROIDTM、
Figure BDA0003276690120000151
Phone)或其它移动操作系统上运行的移动软件。第三方应用程序940可以调用由移动操作系统(诸如操作系统902)提供的API调用908以促进在此描述的功能。
应用916可以使用内置式操作系统功能(例如，内核922、服务924和/或驱动器926)、库920和框架/中间件918以创建用户界面以与系统的用户交互。可替代地或附加地，在一些系统中，与用户的交互可以通过表示层(诸如表示层914)发生。在这些系统中，应用/组件“逻辑”可以与和用户交互的应用/组件的方面分离。
图10是示出根据一些示例实施例的机器1000的组件的框图，机器1000能够从机器可读介质(例如，机器可读存储介质)读取指令并执行在此讨论的任何一个或多个方法。具体地，图10示出采用计算机系统的示例形式的机器1000的图形表示，在该机器1000内可以执行用于使机器1000执行在此所讨论的任何一种或多种方法的指令1010(例如，软件、程序、应用程序、小应用程序、应用软件、或其它可执行代码)。这样，指令1010可以用于实现在此描述的模块或组件。指令1010将通用的未被编程的机器1000转换成被编程为以所描述的方式执行所描述和示出的功能的特定机器1000。在替代实施例中，机器1000作为独立装置操作或者可以耦接(例如，联网)到其它机器。在联网部署中，机器1000可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力来操作，或者作为对等(或分布式)网络环境中的对等机器操作。机器1000可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能手机、移动设备、可穿戴设备(例如，智能手表)、智能家居设备(例如，智能家电)、其它智能设备、网络装置、网络路由器、网络交换机、网络桥接器、或能够顺序地或以其它方式执行指定机器1000要采取的动作的指令1010的任何机器。此外，尽管仅示出了单个机器1000，但是术语“机器”还应被视为包括机器的集合，这些机器单独或联合执行指令1010以实施在此所讨论的任何一种或多种方法。
机器1000可以包括处理器1004、存储器/存储设备1006和I/O组件1018，它们可被配置为诸如经由总线1002彼此通信。存储器/存储设备1006可以包括存储器1014(诸如主存储器或其它存储器存储设备)和存储单元1016，两者都可由处理器1004诸如经由总线1002访问。存储单元1016和存储器1014存储体现在此描述的任何一种或多种方法或功能的指令1010。指令1010还可以在机器1000执行指令1010期间完全或部分地驻留在存储器1014内、存储单元1016内、至少一个处理器1004内(例如，处理器的高速缓冲存储器内)、或其任何合适的组合。因此，存储器1014、存储单元1016和处理器1004的存储器是机器可读介质的示例。
I/O组件1018可以包括各种各样的组件以接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量等。在特定机器1000中包括的特定I/O组件1018将取决于机器的类型。例如，诸如移动电话的便携式机器将可能包括触摸输入设备或其它这种输入机构，而无终端服务器机器将可能不包括这种触摸输入设备。应当理解，I/O组件1018可以包括在图10中未示出的许多其它组件。仅仅为了简化以下讨论，根据功能对I/O组件1018进行分组，并且该分组绝不是限制性的。在各种示例实施例中，I/O组件1018可以包括输出组件1026和输入组件1028。输出组件1026可以包括视觉组件(例如显示器(诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD))、投影仪、或阴极射线管(CRT))、声音组件(例如扬声器)、触觉组件(例如，振动电机、电阻机构)、其它信号发生器等。输入组件1028可以包括字母数字输入组件(例如，键盘、被配置为接收字母数字输入的触摸屏、光电键盘或其它字母数字输入组件)、基于点的输入组件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其它指向仪器)、触觉输入组件(例如，物理按钮、提供触摸的位置和/或力或者触摸手势的触摸屏、或其它触感输入组件)、音频输入组件(例如，麦克风)等。
在其它示例实施例中，I/O组件1018可以包括广泛的其它组件中的生物识别组件1030、运动组件1034、环境组件1036或定位组件1038。例如，生物识别组件1030可以包括检测表达(例如手部表达、面部表情、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、汗水或脑波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的组件。运动组件1034可包括加速度传感器组件(例如，加速度计)、重力传感器组件、旋转传感器组件(例如陀螺仪)等。环境组件1036可包括例如照明传感器组件(例如，光度计)、温度传感器组件(例如，检测环境温度的一个或多个温度计)、湿度传感器组件、压力传感器组件(例如气压计)、声学传感器组件(例如，检测背景噪声的一个或多个麦克风)、接近度传感器组件(例如，检测附近物体的红外传感器)、气体传感器(例如，用于为了安全而检测危险气体浓度或测量大气中的污染物的气体检测传感器)、或可提供与周围物理环境相对应的指示、测量或信号的其它组件。定位组件938可包括位置传感器组件(例如，全球定位系统(GPS)接收机组件)、高度传感器组件(例如，高度计或检测可从中导出高度的空气压力的气压计)、定向传感器组件(例如，磁力计)等。
可以使用各种技术来实现通信。I/O组件1018可以包括通信组件1040，其可操作以分别经由耦合1022和耦合1024而将机器1000耦合到网络1032或设备1020。例如，通信组件1040可以包括网络接口组件或与网络1032相接的其它合适设备。在进一步的示例中，通信组件1040可以包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(NFC)组件、
Figure BDA0003276690120000171
组件(例如，
Figure BDA0003276690120000181
低功耗)、
Figure BDA0003276690120000182
组件以及经由其它模式提供通信的其它通信组件。设备1020可以是另一个机器或者是各种外围设备中的任何一种(例如，经由通用串行总线(USB)耦接的外围设备)。
此外，通信组件1040可以检测标识符或包括可操作以检测标识符的组件。例如，通信组件1040可以包括射频识别(RFID)标签读取器组件、NFC智能标签检测组件、光学读取器组件(例如，光学传感器，其用于检测一维条形码(诸如通用产品代码(UPC)条形码)、多维条形码(诸如快速响应(QR)码、Aztec码、数据矩阵、Dataglyph、MaxiCode、PDF417、超码、UCCRSS-2D条形码)、和其它光学代码)、或声学检测组件(例如，识别带标记的音频信号的麦克风)。此外，可以经由通信组件1040来导出各种信息，诸如经由互联网协议(IP)地理位置的位置、经由
Figure BDA0003276690120000183
信号三角测量的位置、经由检测可指示特定位置的NFC信标信号的位置等。
术语表
在本上下文中，“载波信号”是指能够存储、编码或携带用于由机器执行的指令的任何无形介质，并包括数字或模拟通信信号或便于这种指令的通信的其它无形介质。可以经由网络接口设备使用传输介质并使用许多众所周知的传输协议中的任何一个传输协议来通过网络发送或接收指令。
在本上下文中，“客户端设备”是指与通信网络接口相接以从一个或多个服务器系统或其它客户端设备获得资源的任何机器。客户端设备可以是但不限于移动电话、台式计算机、膝上型计算机、便携式数字助理(PDA)、智能电话、平板计算机、超级本、上网本、膝上型计算机、多处理器系统、基于微处理器的或可编程消费电子产品、游戏控制台、机顶盒、或用户可使用以访问网络的任何其它通信设备。
在本上下文中，“通信网络”是指网络的一个或多个部分，该网络可以是自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、互联网、互联网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、
Figure BDA0003276690120000191
Figure BDA0003276690120000192
网络、另一种类型的网络、或两个或更多个这种网络的组合。例如，网络或网络的一部分可以包括无线或蜂窝网络，并且耦合可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或其它类型的蜂窝或无线耦合。在该示例中，耦合可以实现各种类型的数据传输技术中的任何一种，诸如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线服务(GPRS)技术、GSM演进增强型数据速率(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准制定组织定义的其它标准、其它远程协议或其它数据传输技术。
在本上下文中，“短时消息”是指可在时间有限的持续时间内访问的消息。短时消息可以是文本、图像、视频等。短时消息的访问时间可以由消息发送方设置。可替代地，访问时间可以是默认设置或由接收方指定的设置。无论设置技术如何，消息是暂时性的。
在本上下文中，“机器可读介质”是指能够临时或永久存储指令和数据的组件、设备或其它有形介质，并且可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存、光学介质、磁介质、高速缓冲存储器、其它类型的存储设备(例如，可擦除可编程只读存储器(EEPROM))和/或其任何合适的组合。术语“机器可读介质”应被认为包括能够存储指令的单个介质或多个介质(例如，集中式或分布式数据库、或相关联的高速缓存和服务器)。术语“机器可读介质”还应被认为包括能够存储由机器执行的指令(例如，代码)以使得指令在由机器的一个或多个处理器执行时使机器执行在此描述的任何一种或多种方法的任何介质或多个介质的组合。因此，“机器可读介质”是指单个存储装置或设备以及包括多个存储装置或设备的“基于云的”存储系统或存储网络。术语“机器可读介质”排除信号本身。
在本上下文中，“组件”是指具有由功能或子例程调用、分支点、应用程序接口(API)或提供特定处理或控制功能的分区或模块化的其它技术定义的边界的设备、物理实体或逻辑。组件可以经由它们的接口与其它组件相组合以执行机器过程。组件可以是封装的功能硬件单元，其被设计用于与其它组件和通常执行相关功能的特定功能的程序的一部分一起使用。组件可以构成软件组件(例如，在机器可读介质上体现的代码)或硬件组件。“硬件组件”是能够执行某些操作的有形单元，并且可以以某种物理方式来配置或布置。在各种示例实施例中，一个或多个计算机系统(例如，独立计算机系统、客户端计算机系统或服务器计算机系统)或计算机系统的一个或多个硬件组件(例如，处理器或一组处理器)可以通过软件(例如，应用程序或应用程序部分)来被配置为操作以执行如在此描述的特定操作的硬件组件。硬件组件还可以机械地、电子地或其任何合适的组合来实现。例如，硬件组件可以包括被永久配置为执行特定操作的专用电路或逻辑。硬件组件可以是专用处理器，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件组件还可以包括被软件临时配置以执行特定操作的可编程逻辑或电路。例如，硬件组件可以包括由通用处理器或其它可编程处理器执行的软件。一旦由这种软件配置，硬件组件就变成特定机器(或机器的特定组件)，其被独特地定制以执行所配置的功能并且不再是通用处理器。应当理解，可以由成本和时间考虑来驱动在专用并永久配置的电路中或在临时配置的电路(例如，由软件配置的)中机械地实现硬件组件的决定。因此，短语“硬件组件”(或“硬件实现的组件”)应当被理解为包含有形实体，即被物理构造、永久配置(例如，硬连线)或临时配置(例如，被编程的)为以特定方式操作或执行在此描述的特定操作的实体。考虑其中硬件组件被临时配置(例如，被编程)的实施例，不需要在任何一个时刻配置或实例化硬件组件中的每个硬件组件。例如，在硬件组件包括由软件配置成专用处理器的通用处理器的情况下，通用处理器可以在不同时间被配置为分别不同的专用处理器(例如，包括不同的硬件组件)。软件相应地配置一个或多个特定处理器以例如在一个时刻构成特定的硬件组件，并在不同的时刻构成不同的硬件组件。硬件组件可以向其它硬件组件提供信息和从其接收信息。因此，所描述的硬件组件可以被认为通信地耦接。在同时存在多个硬件组件的情况下，可以通过在两个硬件组件之间或更多个硬件组件之中的信号传输(例如，通过适当的电路和总线)来实现通信。在其中在不同时间配置或实例化多个硬件组件的实施例中，可以例如通过在多个硬件组件可访问的存储器结构中存储和检索信息，实现这种硬件组件之间的通信。例如，一个硬件组件可以执行操作并将该操作的输出存储在与其通信耦接的存储设备中。然后，另一硬件组件可以稍后访问存储设备以检索并处理所存储的输出。硬件组件还可以启动与输入或输出设备的通信，并可以在资源(例如，信息集合)上操作。在此描述的示例方法的各种操作可以至少部分地由被临时配置(例如，通过软件)或永久配置为执行相关操作的一个或多个处理器来执行。无论是临时配置还是永久配置，这种处理器可以构成用于执行在此描述的一个或多个操作或功能的处理器实现的组件。如在此所使用的，“处理器实现的组件”是指使用一个或多个处理器实现的硬件组件。类似地，在此描述的方法可以是至少部分处理器实现的，其中一个多个特定处理器是硬件的示例。例如，方法中的至少一些操作可以由一个或多个处理器或处理器实现的组件来执行。此外，一个或多个处理器还可以操作以支持“云计算”环境中的相关操作的性能或作为“软件即服务”(SaaS)。例如，至少一些操作可以由一组计算机(作为包括处理器的机器的示例)执行，这些操作可以经由网络(例如，互联网)并经由一个或多个适当的接口(例如，应用程序接口(API))访问。某些操作的性能可以被分布在在处理器之间，不仅驻留在单个机器内，而且部署在多个机器上。在一些示例实施例中，处理器或处理器实现的组件可以位于单个地理位置(例如，在家庭环境、办公室环境或服务器群内)。在其它示例实施例中，处理器或处理器实现的组件可以被分布在多个地理位置上。
在本上下文中，“处理器”是指根据控制信号(例如，“命令”、“操作码”、“机器代码”等)来操纵数据值以及产生被应用以操作机器的对应输出信号的任何电路或虚拟电路(由在实际处理器上执行的逻辑模拟的物理电路)。例如，处理器可以是中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)或其任何组合。处理器可以进一步是具有可以同时执行指令的两个或更多个独立处理器(有时被称为“核”)的多核处理器。
在本上下文中，“时间戳”是指识别特定事件何时发生的字符序列或编码信息，例如给出日期和一天中的时间，有时精确到秒的分数。

Claims (20)

1.一种方法，包括：
在地理围栏区域内的位置处检测客户端设备，所述地理围栏区域包括感兴趣目的地；
在所述地理围栏区域内确定从所述客户端设备的位置到所述感兴趣目的地的路线；
基于在所述地理围栏区域内检测到所述客户端设备，导致在所述客户端设备处显示环境的呈现，所述环境的呈现包括在所述环境的所述呈现内的位置处的标牌的显示；
在所述环境的呈现内检测所述标牌的显示；
响应于在所述环境的呈现内检测到所述标牌显示，生成媒体项，所述媒体项是基于到所述感兴趣目的地的所述路线；以及
基于所述标牌在所述环境的呈现内的位置，呈现所述媒体项。
2.根据权利要求1所述的方法，其中，基于到所述感兴趣目的地的所述路线，生成所述媒体项包括：
基于所述客户端设备的位置和所述感兴趣目的地，确定行进方向；以及
基于所述行进方向，生成所述媒体项。
3.根据权利要求2所述的方法，其中，基于所述行进方向，生成所述媒体项包括：
基于所述行进方向，从图形符号数据库中选择图形符号。
4.根据权利要求1所述的方法，其中，响应于在所述环境的呈现内检测到所述标牌的显示，生成所述媒体项进一步包括：
识别所述标牌的一个或多个图形特性；以及
基于所述标牌的所述一个或多个图形特性，生成所述媒体项。
5.根据权利要求4所述的方法，其中，所述一个或多个图形特性包括颜色特性、字符权重、以及字符样式，并且基于所述标牌的所述一个或多个图形特性，生成所述媒体项包括：
基于所述一个或多个图形特性，生成样式模板；以及
基于所述样式模板和所述路线，生成所述媒体项。
6.根据权利要求1所述的方法，其中，响应于在所述环境的呈现内检测到所述标牌的显示，生成所述媒体项进一步包括：
识别所述标牌的一个或多个物理特性；以及
基于所述标牌的所述一个或多个物理特性，生成所述媒体项。
7.根据权利要求1所述的方法，其中，所述标牌的显示是在所述环境的呈现内的第一位置处的第一标牌的第一显示，并且所述方法还包括：
在所述感兴趣目的地的阈值距离内检测所述客户端设备；
访问与所述感兴趣目的地相关联的媒体内容；
在所述环境的呈现内的第二位置处检测第二标牌的第二显示；以及
在所述第二标牌在所述环境的呈现内的所述第二位置处呈现所述媒体内容。
8.根据权利要求1所述的方法，其中，所述感兴趣目的地是第一感兴趣目的地，所述地理围栏区域包括多个感兴趣目的地，并且所述方法还包括：
响应于在所述地理围栏区域内的位置处检测到所述客户端设备，访问与所述客户端设备相关联的用户的用户简档，所述用户简档包括用户简档信息；以及
基于所述用户简档信息，从所述多个感兴趣目的地中选择所述第一目的地。
9.一种系统，包括：
存储器；以及
至少一个硬件处理器，其耦合到所述存储器并包括使所述系统执行操作的指令，所述操作包括：
在地理围栏区域内的位置处检测客户端设备，所述地理围栏区域包括感兴趣目的地；
在所述地理围栏区域内确定从所述客户端设备的位置到所述感兴趣目的地的路线；
基于在所述地理围栏区域内检测到所述客户端设备，导致在所述客户端设备处显示环境的呈现，所述环境的呈现包括在所述环境的呈现内的位置处的标牌的显示；
在所述环境的呈现内检测所述标牌的显示；
响应于在所述环境的呈现内检测到所述标牌的显示，生成媒体项，所述媒体项是基于到所述感兴趣目的地的所述路线；以及
基于所述标牌在所述环境的呈现内的位置，呈现所述媒体项。
10.根据权利要求9所述的系统，其中，基于到所述感兴趣目的地的所述路线，生成所述媒体项包括：
基于所述客户端设备的位置和所述感兴趣目的地，确定行进方向；以及
基于所述行进方向，生成所述媒体项。
11.根据权利要求10所述的系统，其中，基于所述行进方向，生成所述媒体项包括：
基于所述行进方向，从图形符号数据库中选择图形符号。
12.根据权利要求9所述的系统，其中，响应于在所述环境的呈现内检测到所述标牌的显示，生成所述媒体项进一步包括：
识别所述标牌的一个或多个图形特性；以及
基于所述标牌的所述一个或多个图形特性，生成所述媒体项。
13.根据权利要求12所述的系统，其中，所述一个或多个图形特性包括颜色特性、字符权重、以及字符样式，并且基于所述标牌的所述一个或多个图形特性，生成所述媒体项包括：
基于所述一个或多个图形特性，生成样式模板；以及
基于所述样式模板和所述路线，生成所述媒体项。
14.根据权利要求9所述的系统，其中，响应于在所述环境的呈现内检测到所述标牌的显示，生成所述媒体项进一步包括：
识别所述标牌的一个或多个物理特性；以及
基于所述标牌的所述一个或多个物理特性，生成所述媒体项。
15.根据权利要求9所述的系统，其中，所述标牌的显示是在所述环境的所述呈现内的第一位置处的第一标牌的第一显示，并且所述指令使所述系统执行操作，所述操作还包括：
在所述感兴趣目的地的阈值距离内检测所述客户端设备；
访问与所述感兴趣目的地相关联的媒体内容；
在所述环境的呈现内的第二位置处检测第二标牌的第二显示；以及
在所述第二标牌在所述环境的呈现内的所述第二位置处呈现所述媒体内容。
16.根据权利要求9所述的系统，其中，所述感兴趣目的地是第一感兴趣目的地，所述地理围栏区域包括多个感兴趣目的地，并且所述指令使所述系统执行操作，所述操作还包括：
响应于在所述地理围栏区域内的位置处检测到所述客户端设备，访问与所述客户端设备相关联的用户的用户简档，所述用户简档包括用户简档信息；以及
基于所述用户简档信息，从所述多个感兴趣目的地中选择所述第一目的地。
17.一种机器可读存储介质，包括指令，所述指令当由机器的一个或多个处理器执行时使所述机器执行操作，所述操作包括：
在地理围栏区域内的位置处检测客户端设备，所述地理围栏区域包括感兴趣目的地；
在所述地理围栏区域内确定从所述客户端设备的位置到所述感兴趣目的地的路线；
基于在所述地理围栏区域内检测到所述客户端设备，导致在所述客户端设备处显示环境的呈现，所述环境的呈现包括在所述环境的呈现内的位置处的标牌的显示；
在所述环境的呈现内检测所述标牌的显示；
响应于在所述环境的呈现内检测到所述标牌的显示，生成媒体项，所述媒体项是基于到所述感兴趣目的地的所述路线；以及
基于所述标牌在所述环境的呈现内的位置，呈现所述媒体项。
18.根据权利要求17所述的机器可读存储介质，其中，基于到所述感兴趣目的地的所述路线，生成所述媒体项包括：
基于所述客户端设备的位置和所述感兴趣目的地，确定行进方向；以及
基于所述行进方向，生成所述媒体项。
19.根据权利要求18所述的机器可读存储介质，其中，基于所述行进方向，生成所述媒体项包括：
基于所述行进方向，从图形符号数据库中选择图形符号。
20.根据权利要求17所述的机器可读存储介质，其中，响应于在所述环境的呈现内检测到所述标牌的显示，生成所述媒体项进一步包括：
识别所述标牌的一个或多个图形特性；以及
基于所述标牌的所述一个或多个图形特性，生成所述媒体项。
CN202080023979.8A 2019-03-26 2020-03-25 增强现实引导界面 Pending CN113631886A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/365,256 US11598643B2 (en) 2019-03-26 2019-03-26 Augmented reality guidance interface
US16/365,256 2019-03-26
PCT/US2020/024724 WO2020198364A1 (en) 2019-03-26 2020-03-25 Augmented reality guidance interface

Publications (1)

Publication Number Publication Date
CN113631886A true CN113631886A (zh) 2021-11-09

Family

ID=70465239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080023979.8A Pending CN113631886A (zh) 2019-03-26 2020-03-25 增强现实引导界面

Country Status (5)

Country Link
US (2) US11598643B2 (zh)
EP (1) EP3948164A1 (zh)
KR (2) KR102626290B1 (zh)
CN (1) CN113631886A (zh)
WO (1) WO2020198364A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114124876A (zh) * 2021-11-17 2022-03-01 网易（杭州）网络有限公司 一种信息交互方法、装置、设备及存储介质
US11598643B2 (en) 2019-03-26 2023-03-07 Snap Inc. Augmented reality guidance interface
US11893301B2 (en) 2020-09-10 2024-02-06 Snap Inc. Colocated shared augmented reality without shared backend

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
US11263787B2 (en) * 2020-03-05 2022-03-01 Rivian Ip Holdings, Llc Augmented reality detection for locating autonomous vehicles
US20220319083A1 (en) * 2021-04-04 2022-10-06 Lakshminath Reddy Dondeti System and method for generating and providing context-fenced filters to multimedia objects captured in real-time
WO2024101593A1 (ko) * 2022-11-08 2024-05-16 삼성전자주식회사 웨어러블 장치를 착용한 사용자의 정보를 송신하기 위한 웨어러블 장치, 및 방법
KR102642350B1 (ko) * 2023-09-05 2024-02-29 주식회사 제이솔루션 고객 인터렉션 기반 광고 효과 측정 및 실시간 반영 사이니지 솔루션

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120143501A1 (en) * 2010-12-02 2012-06-07 Telenav, Inc. Navigation system with destination-centric en-route notification delivery mechanism and method of operation thereof
US20120324342A1 (en) * 2011-06-14 2012-12-20 Mediplay, Inc. Methods, Systems, and Computer Program Products for Generating a Media Presentation for Digital Signage
US20130110633A1 (en) * 2011-11-02 2013-05-02 Digital Footsteps, Ltd. Adaptive presentation of guided tour information on mobile client terminal(s)
KR20130085653A (ko) * 2012-01-20 2013-07-30 엘지전자 주식회사 증강현실을 이용한 경로 안내 방법 및 이를 이용하는 이동 단말기
US20150049905A1 (en) * 2013-08-16 2015-02-19 International Business Machines Corporation Map generation for an environment based on captured images
US20150233715A1 (en) * 2014-02-20 2015-08-20 Stubhub, Inc. Interactive venue assistant
US20160202076A1 (en) * 2015-01-14 2016-07-14 Telenav, Inc. Navigation system with an itinerary planning mechanism and method of operation thereof
CN106462637A (zh) * 2014-06-20 2017-02-22 谷歌公司 显示与设备上播放的内容有关的信息
US20170370736A1 (en) * 2015-01-15 2017-12-28 Pcms Holdings, Inc. Systems and methods for providing navigation directions based on emotions and activities
US20180094939A1 (en) * 2016-10-04 2018-04-05 Detour.com, Inc. Platform for experiencing geotagged media content
US20180299272A1 (en) * 2017-04-18 2018-10-18 Microsoft Technology Licensing, Llc Providing familiarizing directional information
US20190086227A1 (en) * 2014-12-15 2019-03-21 Nokia Technologies Oy A Method, Apparatus, Computer Program for Providing Point of Interest Invitations

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015077766A1 (en) 2013-11-25 2015-05-28 Pcms Holdings, Inc. Systems and methods for providing augmenting reality information associated with signage
CN110741422A (zh) * 2017-06-16 2020-01-31 本田技研工业株式会社 车辆及服务管理装置
US11598643B2 (en) 2019-03-26 2023-03-07 Snap Inc. Augmented reality guidance interface

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120143501A1 (en) * 2010-12-02 2012-06-07 Telenav, Inc. Navigation system with destination-centric en-route notification delivery mechanism and method of operation thereof
US20120324342A1 (en) * 2011-06-14 2012-12-20 Mediplay, Inc. Methods, Systems, and Computer Program Products for Generating a Media Presentation for Digital Signage
US20130110633A1 (en) * 2011-11-02 2013-05-02 Digital Footsteps, Ltd. Adaptive presentation of guided tour information on mobile client terminal(s)
KR20130085653A (ko) * 2012-01-20 2013-07-30 엘지전자 주식회사 증강현실을 이용한 경로 안내 방법 및 이를 이용하는 이동 단말기
US20150049905A1 (en) * 2013-08-16 2015-02-19 International Business Machines Corporation Map generation for an environment based on captured images
US20150233715A1 (en) * 2014-02-20 2015-08-20 Stubhub, Inc. Interactive venue assistant
CN106462637A (zh) * 2014-06-20 2017-02-22 谷歌公司 显示与设备上播放的内容有关的信息
US20190086227A1 (en) * 2014-12-15 2019-03-21 Nokia Technologies Oy A Method, Apparatus, Computer Program for Providing Point of Interest Invitations
US20160202076A1 (en) * 2015-01-14 2016-07-14 Telenav, Inc. Navigation system with an itinerary planning mechanism and method of operation thereof
US20170370736A1 (en) * 2015-01-15 2017-12-28 Pcms Holdings, Inc. Systems and methods for providing navigation directions based on emotions and activities
US20180094939A1 (en) * 2016-10-04 2018-04-05 Detour.com, Inc. Platform for experiencing geotagged media content
US20180299272A1 (en) * 2017-04-18 2018-10-18 Microsoft Technology Licensing, Llc Providing familiarizing directional information

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11598643B2 (en) 2019-03-26 2023-03-07 Snap Inc. Augmented reality guidance interface
US11893301B2 (en) 2020-09-10 2024-02-06 Snap Inc. Colocated shared augmented reality without shared backend
CN114124876A (zh) * 2021-11-17 2022-03-01 网易（杭州）网络有限公司 一种信息交互方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP3948164A1 (en) 2022-02-09
WO2020198364A1 (en) 2020-10-01
US11598643B2 (en) 2023-03-07
KR102626290B1 (ko) 2024-01-18
US20230085791A1 (en) 2023-03-23
US20200309558A1 (en) 2020-10-01
KR20240010106A (ko) 2024-01-23
KR20210143291A (ko) 2021-11-26

Similar Documents

Publication Publication Date Title
KR102670848B1 (ko) 증강 현실 의인화 시스템
KR102626290B1 (ko) 증강 현실 안내 인터페이스
CN113892095A (zh) 基于上下文的媒体策展
CN112041891A (zh) 增强表情系统
CN114041104B (zh) 可寻址的增强现实内容
US11688119B2 (en) Animated expressive icon
KR102671052B1 (ko) 동적 컨텍스트 미디어 필터
CN114080824B (zh) 实时增强现实装扮
KR20220149619A (ko) 공유된 증강 현실 시스템
US11520607B2 (en) Interface to configure media content
CN113966525A (zh) 基于位置的增强现实系统
US20240160655A1 (en) Media request system
CN115698924A (zh) 交互式消息传送标贴

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination