CN103959288A - 用于基于web的增强现实应用查看器的方法和装置 - Google Patents

用于基于web的增强现实应用查看器的方法和装置 Download PDF

Info

Publication number
CN103959288A
CN103959288A CN201280058786.1A CN201280058786A CN103959288A CN 103959288 A CN103959288 A CN 103959288A CN 201280058786 A CN201280058786 A CN 201280058786A CN 103959288 A CN103959288 A CN 103959288A
Authority
CN
China
Prior art keywords
partly
combination
information
image
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280058786.1A
Other languages
English (en)
Inventor
V·A·斯蒂尔布
D·J·墨菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN103959288A publication Critical patent/CN103959288A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/972—Access to data in other repository systems, e.g. legacy data or dynamic Web page generation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/106—Enforcing content protection by specific content processing
    • G06F21/1062—Editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/032—Protect output to user by software means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0439—Pixel structures
    • G09G2300/0452—Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003—Display of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Abstract

提供一种用于生成基于web的增强现实应用查看器的方式。基于web的服务器应用从在用户设备处的web客户端接收对于与渲染基于透视的显示的web应用关联的可视化信息的请求。基于web的服务器应用处理和/或有助于处理请求以引起在远离web客户端的服务处执行web应用。另外，在一个或者多个基于web的服务器处的一个或者多个基于web的服务器应用引起至少部分基于web应用的执行来生成一个或者多个图像、一个或者多个图像的一个或者多个序列或者其组合，其中一个或者多个图像、一个或者多个序列或者其组合描绘在执行期间web应用的用户界面的渲染。另外，一个或者多个应用引起向web客户端传输一个或者多个图像、一个或者多个序列或者其组合作为可视化信息用于在用户设备处呈现。

Description

用于基于WEB的增强现实应用查看器的方法和装置
背景技术
服务提供者(例如无线、蜂窝等)和设备制造者不断受到例如通过提供有吸引力的网络服务向消费者递送价值和便利的挑战。具体而言，这些服务可以包括移动设备(例如智能电话)上的位置和导航服务。例如，移动设备可以与对基于网络的信息数据库的访问一起包括显示器、基于位置的传感器(例如全球定位系统(GPS)接收器)、相机和处理器。此外，这样的设备可以被编程用于经由方法、比如增强现实、虚拟现实、三维地图绘制和/或其它相似透视显示来提供地理地点或者兴趣点(POI)和其它对象的虚拟视图。然而获得和处理适合用于在用户设备中查看的所需信息需要显著处理能力和资源。因而，服务提供者和设备制造者面临对于实现如下应用和服务的显著技术挑战，这些应用和服务支持基于透视的显示以呈现POI或者其它对象，从而用户可以更容易请求、接收和查看增强现实呈现。这些挑战可能在其中显示、计算、存储器和/或其它资源可能有限的移动设备上特别强烈。
发明内容
因此，需要一种提供高效的基于web的增强现实应用查看器的方式。
根据一个实施例，一种方法包括确定来自web客户端的对于与渲染基于透视的显示的web应用关联的可视化信息的请求。该方法也包括处理和/或有助于处理请求以至少部分引起在远离web客户端的服务处执行web应用。该方法还包括至少部分引起至少部分基于web应用的执行来生成一个或者多个图像、一个或者多个图像的一个或者多个序列或者其组合，其中一个或者多个图像、一个或者多个序列或者其组合描绘在执行期间web应用的用户界面的渲染。另外，该方法包括至少部分引起向web客户端传输一个或者多个图像、一个或者多个序列或者其组合作为可视化信息。
根据另一实施例，一种装置包括至少一个处理器和包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置用于与至少一个处理器至少部分使该装置确定来自web客户端的对于与渲染基于透视的显示的web应用关联的可视化信息的请求。也使该装置处理和/或有助于处理请求以至少部分引起在远离web客户端的服务处执行web应用。还使该装置至少部分引起至少部分基于web应用的执行来生成一个或者多个图像、一个或者多个图像的一个或者多个序列或者其组合，其中一个或者多个图像、一个或者多个序列或者其组合描绘在执行期间web应用的用户界面的渲染。另外，使该装置至少部分引起向web客户端传输一个或者多个图像、一个或者多个序列或者其组合作为可视化信息。
根据另一实施例，一种计算机可读存储介质，其承载一个或者多个指令的一个或者多个序列，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时，至少部分使装置确定来自web客户端的对于与渲染基于透视的显示的web应用关联的可视化信息的请求。也使该装置处理和/或有助于处理请求以至少部分引起在远离web客户端的服务处执行web应用。还使该装置至少部分引起至少部分基于web应用的执行来生成一个或者多个图像、一个或者多个图像的一个或者多个序列或者其组合，其中一个或者多个图像、一个或者多个序列或者其组合描绘在执行期间web应用的用户界面的渲染。另外，使该装置至少部分引起向web客户端传输一个或者多个图像、一个或者多个序列或者其组合作为可视化信息。
根据另一实施例，一种装置包括用于确定来自web客户端的对于与渲染基于透视的显示的web应用关联的可视化信息的请求的装置。该装置也包括用于处理和/或有助于处理请求以至少部分引起在远离web客户端的服务处执行web应用的装置。该装置还包括用于至少部分引起至少部分基于web应用的执行来生成一个或者多个图像、一个或者多个图像的一个或者多个序列或者其组合的装置，其中一个或者多个图像、一个或者多个序列或者其组合描绘在执行期间web应用的用户界面的渲染。另外，该装置用于包括至少部分引起向web客户端传输一个或者多个图像、一个或者多个序列或者其组合作为可视化信息的装置。
此外，对于本发明的各种示例实施例，以下各项适用：一种方法包括有助于处理和/或包括处理(1)数据和/或(2)信息和/或(3)至少一个信号，(1)数据和/或(2)信息和/或(3)至少一个信号至少部分基于在本申请中公开为与本发明的任何实施例相关的方法(或者过程)中的任何一种方法(或者过程)或者任何方法(或者过程)组合(包括至少部分从该任何一种方法(或者过程)或者任何方法(或者过程)组合而获得)。
对于本发明的各种示例实施例，以下各项也可适用：一种方法包括有助于访问至少一个接口，至少一个接口被配置用于允许访问至少一个服务，至少一个服务被配置用于执行在本申请中公开的网络或者服务提供者方法(或者过程)中的任何一种网络或者服务提供者方法(或者过程)或者任何网络或者服务提供者方法(或者过程)组合。
对于本发明的各种示例实施例，以下各项也可适用：一种方法包括有助于创建和/或有助于修改(1)至少一个设备用户接口单元和/或(2)至少一个设备用户接口功能，(1)至少一个设备用户接口单元和/或(2)至少一个设备用户接口功能至少部分基于以下各项：在本申请中公开为与本发明的任何实施例相关的方法或者过程中的一种方法或者过程或者任何方法或者过程组合所产生的数据和/或信息；以及/或者在本申请中公开为与本发明的任何实施例相关的方法(或者过程)中的一种方法(或者过程)或者任何方法(或者过程)组合所产生的至少一个信号。
对于本发明的各种示例实施例，以下各项也可适用：一种方法包括创建和/或修改(1)至少一个设备用户接口单元和/或(2)至少一个设备用户接口功能，(1)至少一个设备用户接口单元和/或(2)至少一个设备用户接口功能至少部分基于以下各项：在本申请中公开为与本发明的任何实施例相关的方法(或者过程)中的一种方法(或者过程)或者任何方法(或者过程)组合所产生的数据和/或信息；以及/或者在本申请中公开为与本发明的任何实施例相关的方法(或者过程)中的一种方法(或者过程)或者任何方法(或者过程)组合所产生的至少一个信号。
在各种示例实施例中，可以在服务提供者侧上或者在移动设备侧上或者以在服务提供者与移动设备之间的在两侧上执行动作的任何共享方式实现方法(或者过程)。
对于各种示例实施例，以下各项适用：一种装置，包括用于执行根据原先提交的权利要求1-10、21-30和46-48中的任一权利要求的方法的装置。
仅通过举例说明多个具体实施例和实现方式从以下具体描述中容易清楚本发明的更多其它方面、特征和优点，这些具体实施例和实现方式包括设想的用于实现本发明的最佳实施方式。本发明也能够有其它和不同实施例并且可以在各种明显方面修改它的若干细节而都未脱离本发明的精神实质和范围。因而，附图和描述将视为在性质上为示例而非限制。
附图说明
在附图的各图中通过示例而非通过限制来举例说明本发明的实施例：
图1是根据一个实施例的能够生成用于在用户设备处显示的基于web的透视显示的系统的示图；
图2是根据一个实施例的能够请求、接收、呈现包括一个或者多个对象/内容的地理位置的透视显示的用户设备的示图；
图3是根据一个实施例的用于确定对于基于web的透视显示的请求和用于基于web的透视显示的关联参数的流程图；
图4是根据一个实施例的用于高效的基于web的增强现实应用查看器的过程的流程图；
图5A和5B是根据各种实施例的描绘在用户设备处的透视显示渲染的用户界面的示图；
图6是可以用来实施本发明的一个实施例的硬件的示图；
图7是可以用来实施本发明的一个实施例的芯片组的示图；以及
图8是可以用来实施本发明的一个实施例的移动终端(例如手机)的示图。
具体实施方式
公开一种用于基于web的增强现实应用查看器的方法、装置和计算机程序的示例。在以下描述中，出于说明的目的，阐述许多具体细节以便提供本发明的实施例的透彻理解。然而，本领域技术人员清楚，无这些具体细节或者用等效布置仍可实现本发明的实施例。在其它实例中，以框图形式示出熟知结构和设备以免不必要地模糊本发明的实施例。
如这里所用，术语“透视显示”是指用于在三维(3D)表示或者3D表示的近似中呈现基于位置的信息的用户界面或者用户界面的部分。举例而言，在支持增强现实、虚拟现实、地图绘制、导航等的应用中使用透视显示。
虽然关于作为增强现实显示的地图绘制显示来描述各种实施例，但是设想可以与任何其它类型的透视显示使用这里描述的方式的各种实施例。
图1是根据一个实施例的能够生成用于在用户设备处显示的基于web的透视显示的系统的示图。服务提供者和设备制造者在诸多用户设备(例如移动手机、计算机、导航设备等)上绑定导航和地图绘制服务或者使这些服务可用正在变得日益流行。这样的设备可以利用基于位置的技术(例如全球定位系统(GPS)接收器、蜂窝三角测量、辅助GPS(A-GPS)等)以提供导航和地图绘制信息。对于这些服务的一个增长趋势是发展超出二维(2D)地图并且利用增强现实(AR)和混合现实(MR)技术基于兴趣位置、对象、点和/或路线的三维(3D)地图或者表示提供位置服务。另外，随着地图应用日益变成一种虚拟化地理标记的内容的直观方式，AR内容创建服务日益允许用户通过点击将一个或者多个对象/内容在地图上定位于何处来创建AR内容。然后，可以对于经由AR应用或者其它基于透视的显示应用查看对应区域或者位置的用户渲染这些放置的对象(例如虚拟对象)。例如，现代设备可以利用AR模式以在视频和/或图像上叠加图形和文字，该视频和/或这些图像示出在用户标识的位置处的兴趣点(POI)和内容。另外，某些设备可以利用对象、建筑物和街道的基于透视的显示、比如3D表示(例如渲染的3D模型)以提供导航、地图绘制或者其它基于位置的信息。
然而，如先前讨论的那样，对于用户设备而言生成这样的基于透视的渲染可能复杂并且资源密集。例如，在用户设备上的一个或者多个AR应用可能需要来自许多不同来源(例如本地资源、网络资源、内容提供者等)的各种数据类型(例如对象模型、纹理数据、地图绘制数据、传感器数据等)用于渲染。此外，包括许多对象、复杂纹理等的显示可能需要显著处理时间来渲染，这可能引入延时。这一延时可能在将对象定位于透视显示内(例如在创建AR内容时)时特别成问题，在该透视显示中，动态渲染可以用来预览对象。
因而，由于资源约束，当前地图应用(例如使用Google或者Nokia的混搭)利用2D可视化表示，其中在地图背景上叠放有地理标记的内容。然而，随着地图数据库日益包括3D内容(例如3D建筑物模型或者地形数据)，2D可视化表示可能例如在创建AR内容时具有限制，其中在表示内容的地图上仅显示别针(pin)未提供对于在内容创建者和/或用户指示的地理位置处的内容的接近现实预览的充分支持。理想地，应当生成如下预览，该预览示出内容可以如何使用3D渲染而看来在地图上放置于现实位置。例如，创建数字内容的实体可以可视化内容可以如何看来在给定的物理位置而无需具有它们自己的可视化能力。在另一示例中，用户可能希望在AR中预览在地图绘制应用中放置于物理位置的一个或者多个内容项目。另外，在基于用户设备的AR解决方案中，所需数据可以是各种格式并且可以通过通信网络(例如基于web/基于云)来分布，其中用户设备可能没有对充分网络带宽、网络速度、处理能力、电池功率和所需各种软件应用和算法的访问。
因此，服务提供者和设备制造者面临提供一种用于基于用户定义的参数在用户设备处渲染实时或者基本上实时的基于透视的显示的解决方案这样的问题。
为了解决这一问题，图1的系统100通过高效获得和处理地图绘制信息和内容信息以便为可能没有所需资源和能力以在用户设备处执行所需过程的基于浏览器的应用和设备生成透视显示(例如AR显示)来引入生成透视显示的能力。例如，基于web的服务可以至少部分利用用于渲染透视显示的一个或者多个远程的基于web的服务(例如服务提供者、web服务器等)、根据一个或者多个用户定义的参数生成/渲染物理位置和内容的3D可视化。另外，基于web的服务可以访问一个或者多个所需资源(例如应用、服务器、数据库等)、定义和/或访问一个或者多个内容(例如经由一个或者多个统一资源标识符(URI))并且执行用于生成物理位置的透视显示、包括用于在用户设备处呈现的一个或者多个内容的一个或者多个所需应用和/或算法。更具体而言，在一个实施例中，系统100包括浏览器和服务器(例如混搭服务器、内容服务器、城市景物服务器、地图服务器等)汇集以及服务提供者，这些服务提供者提供一个或者多个web应用、地图绘制信息、地形信息、用于建筑物和纹理的3D模型(例如来自地图服务器)和将在地图上显示的内容。另外，专用网络服务器可以在网络内的一个或者多个服务器上运行一个或者多个AR和/或ME应用。专用服务器可以提供一个或者多个API，该一个或者多个API允许客户端(例如web浏览器和本机客户端)使用一个或者多个专用应用来请求内容提供者提供的内容的可视化，其中用户可以查看可以由客户端显示的屏幕捕获或者视频流。
在一个实施例中，网络服务器(例如web服务器)应用确定来自web客户端(例如在用户设备处)的对于与渲染基于透视的显示的web应用关联的可视化信息，其中通过选择在用户设备上的web客户端处呈现的用户界面中的一个或者多个选项来生成请求。例如用户利用用户设备上的应用(例如地图绘制应用)以向一个或者多个服务提交对于可以包括一个或者多个内容的物理位置的预览(例如AR)的请求。
在另一实施例中，网络服务器应用处理和/或有助于处理请求以至少部分引起在远离web客户端的服务处执行web应用，其中web应用的执行至少部分基于在请求中规定的一个或者多个参数。例如web服务器(例如基于云、基于web)从用户设备接收请求、向一个或者多个服务提交请求用于执行和/或在接收服务器处执行请求的一个或者多个部分。在各种实施例中，请求的执行可以使执行服务器请求来自用户和/或来自网络内的其它服务器的更多信息项目(例如图像、内容、纹理、地图绘制信息、用户设备信息等)。在其它实施例中，web应用的执行至少部分基于在请求中指定的一个或者多个参数。例如，一个或者多个参数可以包括用于由web应用渲染的一个或者多个对象模型、一个或者多个对象模型的一个或者多个位置、一个或者多个查看位置、用户信息、用户设备信息、URI信息或者其组合。在另一示例中，用户可以提交来自本地或者远程存储装置的一个或者多个对象模型。
在各种实施例中，网络服务器应用至少部分引起至少部分基于web应用的执行来生成一个或者多个图像、一个或者多个图像的一个或者多个序列或者其组合，其中一个或者多个图像、一个或者多个序列或者其组合描绘在执行期间web应用的用户界面的渲染。例如，用户可以请求在地图上的物理位置处的内容项目的预览，其中为了生成预览，服务器应用可以与其它关联信息(例如在本地存储设备处)和/或来自一个或者多个其它服务器的请求一起访问内容项目的一个或者多个图像。另外，可以访问和/或请求与在用户请求中指示的物理位置关联的一个或者多个信息项目。另外，渲染与位置信息一起包括一个或者多个图像和/或一个或者多个图像的序列的预览(例如AR、MR等)用于经由用户界面(UI)应用在用户设备处呈现，其中在用户请求中包括与UI和用户设备有关的信息。另外，对于生成预览的用户请求和所需信息可以由在网络中可用的一个或者多个服务器和应用处理。
在另一实施例中，网络服务器应用至少部分引起向web客户端传输一个或者多个图像、一个或者多个序列或者其组合作为可视化信息。例如，服务器应用可以向在用户设备上的web客户端呈现AR渲染，其中用户可以经由在用户设备上的UI与渲染交互以例如去除对象、添加对象、移动对象、改变视角、改变粒度、向对象添加信息项目等。在另一示例中，可以向在用户设备上的web客户端传输渲染的多个部分，其中web客户端集成多个部分以在用户设备呈现最终渲染。在另一示例中，可以定义呈现以延伸超出特定显示的可视范围(例如延伸至在查看位置周围的指定的位置的360度表示)，其中用户可以与显示交互以查看呈现的不同方面。
在各种实施例中，一个或者多个图像、一个或者多个序列或者其组合的生成至少部分基于与web客户端关联的显示能力信息、视口(viewport)信息或者其组合。例如，执行web客户端的用户设备具有一个或者多个显示能力，其中可以在对于预览的用户请求中包括能力信息(例如宽度和高度)。在另一实施例中，用户设备允许用户选择在用户设备上可用的显示选项。在另一实施例中，生成预览，从而web客户端可以调整在用于在用户设备上渲染并且经由在用户设备处的一个或者多个应用向用户呈现的预览中的一个或者多个参数。
在另一实施例中，网络服务器应用至少部分基于至少部分在请求中指定的路径信息确定一个或者多个查看位置。例如，用户可以指示如下路径(例如街道)而不是固定位置，将在预览中沿着该路径呈现一个或者多个图像、一个或者多个图像序列和/或视频流。
在另一实施例中，网络服务器应用处理和/或有助于处理请求以确定内容信息。在一个示例中，web服务器从用户(例如用户设备)接收请求并且确定在请求中指定什么。另外，web服务器可以确定在请求中指定的内容信息并且可以断定内容的位置和/或与内容的关联信息。在另一示例中，用户请求包括用于内容的一个或者多个URI。在另一示例中，用户与用户请求一起提供一个或者多个内容(例如图像)。
在另一实施例中，网络服务器应用至少部分引起在用户界面、一个或者多个图像、一个或者多个序列或者其组合中渲染内容信息。例如在一个或者多个网络服务器上的一个或者多个应用可以提供与用户标识的一个或者多个内容项目关联的一个或者多个信息项目。在另一示例中，可以从一个或者多个来源(例如web服务器)收集并且可以在用户设备处的预览中呈现与内容项目关联的信息项目。
在各种实施例中，网络服务器应用处理和/或有助于处理一个或者多个图像、一个或者多个序列或者其组合以至少部分引起生成一个或者多个用户交互元素。在某些示例中，web服务器请求和接收来自一个或者多个来源(例如其它web服务器)的一个或者多个图像和/或一个或者多个关联信息项目并且确定用于经由在用户设备上的web客户端向用户呈现的一个或者多个交互元素。例如，用户可以选择并且从在地图上的一个位置向在地图上的另一位置移动内容项目。在另一示例中，用户可以在地图上添加新的内容项目。
在各种实施例中，网络服务器应用至少部分引起将一个或者多个用户交互元素与一个或者多个图像、一个或者多个序列或者其组合分组。在某些示例中，服务器应用可以例如基于用户定义的参数、用户设备能力、可用交互选项、web客户端选项等确定一个或者多个交互元素并且关联它们与一个或者多个图像用于向用户呈现。在另一实施例中，一个或者多个用户交互元素至少部分包括一个或者多个异步脚本元素，其中脚本允许渲染的呈现继续被处理并且将在接收来自web服务器的答复时处理它。另外，一个或者多个异步脚本元素至少部分包括排列(tiling)一个或者多个图像、一个或者多个序列或者其组合用于至少部分支持滚动、摇动、缩放或者其组合。例如，在渲染预览时异步处理一个或者多个交互元素(例如缩放)可以避免在仍然处理从服务器取回一个或者多个元素之时的延迟，因为用户可以继续与呈现交互并且可以在接收来自web服务器的响应时处理其余请求的内容/信息。
在更多另一实施例中，在渲染透视显示并且向地图应用上映射对象的表示之后，系统100和/或web客户端可以例如使用与用户设备关联的定向信息(例如罗盘朝向)以基于查看位置和透视选择在基于位置的用户界面的透视显示中的渲染的部分。例如，组合方向信息与关于相机的视角的信息以选择渲染的待显示的部分。另外，如果罗盘朝向或者信息改变，但是设备的位置(例如纬度和经度)保持相同，则系统100和/或web客户端可以选择渲染的与新定向信息对应的待显示的新部分。例如在AR显示中，系统100显示周围位置的实况相机视图并且以实时方式向实况图像补充与每个对象相关的信息(例如图片、媒体、文字标签、描述等)。用于提供AR显示的视点例如依赖于用户的设备如设备的位置、定向朝向和倾角确定的那样指向何处。因而，随着用户移动设备，在AR显示中的视图和显示的对象基于移动动态改变。
举例而言，这里的提出的方法可以提供如下优点，这些优点包括：减少的通信网络流量；在用户设备处很少或者无处理；在用户设备(例如尤其在移动设备上)的电池寿命节省和在用户设备上无需(例如全能力)AR应用。另外，可以在web/云服务器处集中更新任何所需增强现实应用(例如城市景物)而无需向客户端/用户设备分发应用。另外，可以比使用仅地图的解决方案明显更完整地预览AR内容。
如先前所言，系统100的地图绘制显示不限于AR显示并且可以包括其它类型的地图绘制显示、比如基于透视的地图绘制、位置或者导航信息的增强虚拟显示(例如使用3D模型以表示现实位置和对象/POI信息)、常规3D地图和/或任何其它显示。如这里所用，在某些实施例中，地图绘制、位置和导航信息(这里统称为地图绘制信息)是指关于用户的位置(例如地图坐标)、其它位置(例如目的地、对象、POI)、在位置之间的关系(例如用于在位置之间行进的方向、位置的相对定位、在位置之间的关联)等的信息。
如图1中所示，用户设备(UE)101可以请求来自一个或者多个服务的位于物理位置的一个或者多个对象/内容(例如POI信息、内容信息、3D地图)的透视显示；例如地图平台103经由通信网络105服务于平台113。地图绘制信息可以由服务平台113、内容提供者116a-116m(也统称为内容提供者116)、在UE101上的应用107(例如增强现实应用107、导航应用107、web客户端107等)或者其组合使用。应用107也可以包括用于如关于这里描述的各种实施例讨论的那样生成和/或辅助生成透视显示用于由应用107使用或者呈现的显示管理器109。另外，可以在与地图平台103关联的地图数据库111中包括将在透视显示中包括的内容、POI或者其它内容项目用于由服务平台113、内容提供者116、应用107访问。在某些实施例中，POI和其它有关信息是可以由一个或者多个服务提供者和/或AR应用107用于向用户显示的信息。如先前讨论的那样，内容和POI信息也可以包括或者关联于地图、卫星图像、街道和路径信息、与地图关联的标志化信息、与地图关联的对象和结构、关于人们和人们的位置的信息、兴趣地点、关联元数据、与信息关联的坐标信息、环境的三维模型等或者其组合。另外，内容或者POI可以是个人可以例如发现有趣或者有用的具体对象或者点位置。对象或者兴趣点的示例可以包括机场、面包店、水坝、地标、餐馆、酒店、个人的位置或者有趣、有用或者以某种方式显著的任何兴趣点。另外，POI也可以包括可以仅在AR和/或MR应用中可视化的虚拟对象/人造物，其中这样的虚拟人造物的示例可以包括可以显示一个或者多个图像和/或广告的虚拟布告板、虚拟标志、虚拟移动对象(例如卡车、汽车、飞机、火车等)等。
在某些实施例中，POI信息可以与内容信息关联，该内容信息包括实况媒体(例如流式广播)、存储的媒体(例如在网络上或者本地存储)、与媒体关联的元数据、文字信息、其它用户设备的位置信息或者其组合。内容可以由服务平台113提供，该服务平台包括一个或者多个服务115a-115n(例如web服务、web服务器、混搭服务器/托管、存储、音乐服务、地图绘制服务、视频服务、社交联网服务、内容广播服务等)、内容提供者116(例如在线内容零售者、公用数据库等)、通过通信网络105可用或者可访问的其它内容来源。例如混搭服务器或者主机可以提供用于组合来自多个来源的数据、呈现或者功能以创建数据、呈现和功能的新和/或不同形式的数据、呈现和功能的服务和应用。在另一示例中，服务平台113和/或应用107除了POI信息之外或者作为POI信息的备选还可以在透视显示中显示与位置有关的内容信息(例如与POI或者与特定位置关联的内容)。
在一个实施例中，UE101的图像捕获模块117可以结合AR应用107用来向用户呈现位置信息(例如地图绘制和POI信息)。例如，可以向用户呈现与在地图绘制显示上呈现地图绘制信息(例如POI信息)、内容信息等的AR应用107或者导航应用107关联的AR界面。在某些实施例中，用户界面可以显示混合物理和虚拟环境，其中在对应位置的实况(例如经由UE101的相机)或者预先记录的图像(例如360°全景图片)上叠加放置来自地图数据库111的3D对象。在另一实施例中，向用户呈现的地图绘制信息和地图取代实况增强现实显示或者除了代实况增强现实显示之外还可以是仿真的3D环境。因而，web客户端应用107可以对AR绘制地图显示、仿真的3D显示和/或其它透视显示进行操作以选择在其中呈现的项目和有关信息(例如POI信息、与位置有关的内容信息)。
如指出的那样，UE101可以执行应用107中的一个或者多个应用以查看或者访问POI信息。如以上提到的那样，地图绘制信息可以包括POI信息、位置信息、去往位置的方向或者与位置的关联或者其组合。在一个示例中，默认设置可以允许用户查看关于与位置关联的POI、结构和与AR显示或者3D环境关联的其它对象的信息。例如，UE101的用户可以利用web浏览器应用以请求包括一个或者多个对象和POI的地理位置的透视显示。另外，在一个或者多个服务提供者处的、比如服务平台113、地图平台103和内容提供者116的一个或者多个web服务器可以提供web应用(例如在混搭服务器处)、地图瓦片(tile)、地形信息、用于建筑物和纹理的3D模型(例如地图服务器)和将在地图应用上显示的内容。在一个实施例中，在服务平台113上的一个或者多个web服务器(例如服务器群)可以运行用于渲染地理位置和一个或者多个对象、POI和/或内容的透视显示的一个或者多个AR/MR应用。服务平台113可以呈现API，该API允许客户端(例如web服务器和本机客户端)利用一个或者多个应用来请求内容提供者116所提供的内容的可视化，其中透视显示是可以由在用户设备处的web客户端显示的屏幕截图或者视频流。
举例而言，系统100的通信网络105包括一个或者多个网络、比如数据网络(未示出)、无线网络(未示出)、电话网络(未示出)或者其任何组合。设想数据网络可以是任何局域网(LAN)、城域网(MAN)、广域网(WAN)、公用数据网(例如因特网)、短程无线网络或者任何其它适当分组交换网络、比如商业上拥有的专有分组交换网络如专有线缆或者光纤网络等或者其任何组合。此外，无线网络可以例如是蜂窝网络并且可以运用包括全球演进增强数据速率(EDGE)、通用分组无线电服务(GPRS)、全球移动通信系统(GSM)、网际协议多媒体子系统(IMS)、通用移动电信系统(UMTS)等的各种技术以及任何其它适当无线媒介、例如全球微波接入互操作性(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(WiFi)、无线LAN(WLAN)、网际协议(IP)数据播送、卫星、移动自组织网络(MANET)等或者其任何组合。
UE101可以是任何类型的移动终端、固定终端或者便携终端，该终端包括移动手机、站、单元、设备、多媒体计算机、多媒体写字板、因特网节点、通信器、桌面型计算机、膝上型计算机、笔记本计算机、上网本计算机、写字板计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数字相机/可携式摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任何组合——包括这些设备的附件和外设——或者其任何组合。也设想UE101可以支持与用户的任何类型的接口(比如“可佩戴”电路装置等)。
举例而言，UE101、地图平台103和服务平台113使用熟知、新型或者仍在开发的协议来相互通信并且与通信网络105的其它部件通信。在本文中，协议包括定义通信网络105内的网络节点如何基于通过通信链路发送的信息相互交互的规则集。协议在每个节点内的不同操作层有效，这些操作层从生成和接收各种类型的物理信号到选择用于传送那些信号的链路，到那些信号指示的信息的格式、到标识在计算机系统上执行的哪个软件应用发送或者接收信息。在开放系统互连(OSI)参考模型中描述用于通过网络交换信息的在概念上不同的协议层。
通常通过交换离散数据分组来实现在网络节点之间的通信。每个分组通常包括(1)与特定协议关联的首部信息和(2)净荷信息，该净荷信息跟随首部信息并且包含可以与该特定协议独立处理的信息。在一些协议中，分组包括(3)尾部信息，该尾部信息跟随净荷并且指示净荷信息的结束。首部包括信息、比如分组的源、它的目的地、净荷的长度和协议使用的其它性质。在用于特定协议的净荷中的数据经常包括用于与OSI参考模型的不同更高层关联的不同协议的首部和净荷。用于特定协议的首部通常指示用于在它的净荷中包含下一协议的类型。认为更高层协议封装于更低层协议中。在穿越多个异构网络、比如因特网的分组中包括的首部通常包括如OSI参考模型定义的物理(层1)首部、数据链路(层2)首部、网络间(层3)首部和传送(层4)首部以及各种应用层首部(层5、层6和层7)。
在一个实施例中，增强现实或者导航应用107和地图平台103可以根据客户端-服务器模型交互。根据客户端-服务器模型，客户端进程向服务器进程发送包括请求的消息，并且服务器进程通过提供服务(例如提供地图信息)来响应。服务器进程也可以向客户端进程返回具有响应的消息。客户端进程和服务器进程经常在称为主机的不同计算机设备上执行并且使用用于网络通信的一个或者多个协议经由网络通信。术语“服务器”常规地用来是指提供服务的进程或者该进程在其上操作的主机计算机。类似地，术语“客户端”常规地用来是指进行请求的进程或者该进程在其上操作的主机计算机。如这里所用，除非从上下文另有明示，术语“客户端”和“服务器”是指进程而不是主机计算机。此外，服务器执行的进程可以出于包括可靠性、可伸缩性和冗余性以及其它方面的原因而被分解以作为多个主机上的多个进程(有时称为等级(tier))运行。
图2是根据一个实施例的能够请求、接收和呈现包括一个或者多个对象/内容的地理位置的透视显示的用户设备的部件的图。举例而言，UE101包括用于如在这里描述的方式的各种实施例中讨论的那样请求、接收和呈现包括一个或者多个对象/内容的地理位置的透视显示的一个或者多个部件。设想这些部件的功能可以在一个或者多个部件中被组合或者由等效功能的其它部件执行。在这一实施例中，UE101包括用于呈现例如包括POI信息的透视显示的用户界面201；用于从服务平台113、地图平台103和/或内容提供者116接收完整透视显示或者透视显示的一段或者多段的web客户端215；用于执行一个或者多个应用(例如AR应用107、导航应用107、web客户端应用107等)的运行时间模块205；用于本地存储透视显示的一段或者多段、POI信息和/或有关内容信息的高速缓存207；用于确定UE101的位置的位置模块209；用于确定UE101的水平定向或者定向朝向(例如罗盘朝向)的磁力计模块211；用于确定UE101的垂直定向或者仰角的加速度计模块213；以及图像捕获模块117。
可以经由用户界面201向用户呈现透视显示，这可以包括各种通信方法。例如，用户界面201可以具有输出，这些输出包括可视部件(例如屏幕)、音频部件(例如口头指令)、物理部件(例如触觉反馈)和其它通信方法。用户输入可以包括触屏界面、麦克风、相机、滚动和点击界面、按钮界面等。另外，用户可以输入对于开始应用107(例如AR、web客户端或者导航应用)的请求并且利用用户接口201以接收包括POI和/或其它地图绘制信息的透视显示。通过用户界面201，用户可以请求呈现不同类型的内容、地图绘制或者位置信息。另外，可以在UE101的屏幕上向用户呈现特定位置和有关对象(例如在特定位置的建筑物、地形特征、POI等)的3D或者AR表示作为图形用户界面的一部分。
地图平台接口203由运行时间模块205用来与地图平台103通信。在一些实施例中，接口用来从地图平台103、服务平台113和/或内容提供者116取得POI信息和/或有关内容、地图绘制和/或位置信息。UE101可以利用按照客户端-服务器格式的请求以取回POI和/或地图绘制信息。另外，UE101可以在对于取回POI和/或地图绘制信息的请求中指定位置信息和/或定向信息。位置模块209、磁力计模块211、加速度计模块213和图像捕获模块117可以用来确定在确定UE101指向哪个方向(例如UE101的视点)时使用的位置和/或定向信息，从而可以取回与指向的方向对应的POI和有关信息。另外，这一POI和地图绘制信息可以存储于高速缓存207中以在UE101处生成透视显示时利用。
在一个实施例中，位置模块209可以确定用户的位置。用户的位置可以由三角测量系统、比如GPS、辅助式GPS(A-GPS)、起始小区、无线局域网三角测量或者其它位置推测技术确定。标准GPS和A-GPS可以使用卫星119以对UE101的位置(例如经度、纬度和海拔)进行定点。起始小区系统可以用来确定蜂窝UE101与之同步的蜂窝塔。这一信息提供UE101的粗略位置，因为蜂窝塔可以具有可以地理映射的唯一蜂窝标识符(小区ID)。位置模块209也可以利用多种技术以检测UE101的位置。GPS坐标可以提供关于UE101的位置的更精细细节。如先前指出的那样，位置模块209可以用来确定用于由应用107和/或地图平台103使用的位置坐标。
磁力计模块211可以包括可以测量磁场的强度和/或方向的仪器。使用与罗盘相同的方式，磁力计能够使用地球的磁场来确定UE101的定向朝向。可以在确定方向时标记图像捕获设备(例如相机)的前部(或者在UE101上的另一参考点)作为参考点。因此，如果磁场点与参考点比较指向北，则UE101的参考点与磁场的角度已知。可以进行简单计算以确定UE101的方向。在一个实施例中，从磁力计获得的水平定向数据用来确定用户的定向。这一定向信息可以与UE101的位置信息相关以确定UE101正在指向何处(例如哪个地理特征、对象或者POI)。这一信息可以用来选择用于渲染透视显示的第一个人视图。
另外，加速度计模块213可以包括可以测量加速度的仪器。使用具有轴X、Y和Z的三轴加速度计提供在具有已知角度的三个方向上的加速度。同样，可以在确定方向时标记媒体捕获设备的前部作为参考点。由于重力所致的加速度已知，所以在UE101静止时，加速度计模块213可以确定UE101与地球的重力比较所指向的角度。在一个实施例中，从加速度计获得的垂直定向数据用来确定UE101正在指向的仰角或者倾角的角度。这一信息结合磁力计信息和位置信息可以用来确定用于向用户提供POI和地图绘制信息的视点。这样，这一信息可以在选择可用POI和/或其它项目时用来向用户呈现信息。另外，组合的信息可以用来确定可以让用户感兴趣的特定3D地图或者增强显示视图的部分。在一个实施例中，如果与一个或者多个可用POI项目关联的位置信息未对应于视点(例如，在选择的视点中不可视)，则可以在用户界面上示出一个或者多个指示符(例如箭头或者指针)以指示朝着POI项目的位置的方向。
在另一实施例中，用户可以手动输入位置、定向朝向和倾角中的任何一项或者多项以指定用于在UE101上显示用户界面的视点而不是从传感器确定视点。以这一方式，用户可以选择“虚拟视点”作为除了UE101的当前位置和指向方向之外的地点。
可以使用图像捕获模块117来捕获用于支持图形用户界面的图像。图像捕获模块117可以包括相机、视频相机、其组合等。在一个实施例中，以图像或者系列图像的形式捕获可视媒体。图像捕获模块117可以从相机获得图像并且关联图像与位置信息、磁力计信息、加速度计信息或者其组合。如先前指出的那样，这一信息组合可以用来通过组合用户的位置、用户的水平向信息和用户的垂直定向信息来确定用户的视点。这一信息可以用来从地图高速缓存207或者地图平台103取回POI和地图绘制信息。在某些实施例中，高速缓存207包括地图数据块111中的信息的全部或者部分。
图3是根据一个实施例的用于确定对于基于web的透视显示的请求和关联参数的过程的流程图。在各种实施例中，运行时间模块205和/或服务平台113执行过程300的全部或者部分并且例如实施于如图7中所示包括处理器和存储器的芯片组中。在某些实施例中，服务平台113可以执行过程300的步骤中的一些或者所有步骤并且使用客户端服务器接口来与UE101通信。例如，UE101可以激活用于请求和显示来自服务平台113的透视显示的应用107。另外，应用107可以在运行时间模块205上执行。
在步骤301中，服务平台113确定来自web客户端(例如来自用户设备)的对于与渲染基于透视的显示的web应用关联的可视化信息的请求，其中通过选择在用户设备上的web客户端处呈现的用户界面中的一个或者多个选项来生成请求。例如，用户可以利用用户设备上的应用107(例如地图绘制应用)以向一个或者多个服务提交对于可以包括一个或者多个内容的物理位置的预览(例如AR)的请求。在另一示例中，UE101可以利用位置模块209、磁力计模块211、加速度计模块213或者其组合以如先前讨论的那样确定用户的视点。在其它实施例中，用户可以基于3D环境选择视点，用户可以基于搜索地图或者3D地图的常规手段(例如通过选择起点并且遍历地图或者录入视点的位置坐标、比如GPS坐标或者地址)来选择视点。另外，在各种实施例中，一个或者多个图像、一个或者多个序列或者其组合的生成至少部分基于与web客户端关联的显示能力信息、视点信息或者其组合。例如，执行web客户端的用户设备具有一个或者多个显示能力，其中可以在对于预览的用户请求中包括能力信息(例如宽度和高度)。在另一实施例中，用户设备允许用户选择在用户设备上可用的显示选项。在另一实施例中，生成预览，从而web客户端可以调整在用于在用户设备上渲染并且经由在用户设备处的一个或者多个应用向用户呈现的预览中的一个或者多个参数。
在步骤303中，服务平台113处理和/或有助于处理请求以至少部分引起在远离web客户端的服务处执行web应用，其中web应用的执行至少部分基于在请求中指定的一个或者多个参数。例如，web服务器(例如基于云、基于web)从用户设备接收请求、向一个或者多个服务提交请求对于执行的请求和/或在接收服务器处执行请求的一个或者多个部分。在各种实施例中，请求的执行可以使执行服务器请求来自用户和/或来自网络内的其它服务器的更多信息项目(例如图像、内容、纹理、地图绘制信息、用户设备信息等)。在其它实施例中，web应用的执行至少部分基于在请求中指定的一个或者多个参数。例如，一个或者多个参数可以包括用于由web应用渲染的一个或者多个对象模型、一个或者多个对象模型的一个或者多个位置、一个或者多个查看位置、用户信息、用户设备信息、URI信息或者其组合。
在步骤305中，服务平台113至少部分引起至少部分基于web应用的执行来生成一个或者多个图像、一个或者多个图像的一个或者多个序列或者其组合，其中一个或者多个图像、一个或者多个序列或者其组合描绘在执行期间web应用的用户界面的渲染。例如，用户可以请求在地图上的物理位置处的内容项目的预览，其中为了生成预览，服务器应用可以与其它关联信息(例如在本地存储设备处)和/或来自一个或者多个其它服务器的请求一起访问内容项目的一个或者多个图像。另外，可以访问和/或请求与在用户请求中指示的物理位置关联的一个或者多个信息项目。另外，渲染与位置信息一起包括一个或者多个图像和/或一个或者多个图像的序列的预览(例如AR、MR等)，以用于经由用户界面(UI)应用在用户设备处呈现，其中在用户请求中包括与UI和用户设备有关的信息。另外，对于生成预览的用户请求和所需信息可以由在网络中可用的一个或者多个服务器和应用来处理。
在步骤307中，服务平台113至少部分引起向web客户端传输一个或者多个图像、一个或者多个序列或者其组合作为可视化信息。例如，服务器应用可以向在用户设备上的web客户端呈现AR渲染，其中用户可以经由在用户设备上的UI与渲染交互以例如去除对象、添加对象、移动对象、改变视角、改变粒度、向对象添加信息项目等。在另一示例中，可以向在用户设备上的web客户端传输渲染的多个部分，其中web客户端集成多个部分以在用户设备呈现最终渲染。在另一示例中，可以定义呈现以延伸超出特定显示的可视范围(例如延伸至在查看位置周围的指定的位置的360度表示)，其中用户可以与显示交互以查看呈现的不同方面。
如先前指出的那样，透视显示可以表示可以使用UE101的图像捕获模块117而捕获的用于提供AR显示的物理环境。在另一实施例中，图像可以表示虚拟3D环境，其中在虚拟3D环境中表示用户在现实物理环境中的位置。在表示中，向虚拟3D环境上映射用户的视点。另外，混合物理和虚拟3D环境还可以用来向用户呈现导航信息。AR应用107可以基于用户偏好或者其它系统参数或者设置(例如默认设置)确定呈现什么地图绘制信息。
在某些实施例中，地图绘制信息包括用户搜寻或者希望在AR表示中包括的一个或者多个对象/POI(例如咖啡店、桥梁、布告板、树木、建筑物)。在其它实施例中，透视显示也可以包括导航信息、比如去往用户正在搜寻的位置(例如好友、特定POI等)的定向指示符。可以通过查询地图平台103来确定位置，该地图平台可以包括用于POI的位置信息并且还可以能够使用动态定位技术(例如通过经由GPS信息检测用户的存在)来跟踪人们的移动。另外，可以陈述用户(例如用户设备)和将在透视显示中呈现的对象/POI相对于彼此的位置。例如，可以指定将在透视显示中呈现的对象放置于从用户的某个距离内(例如在从用户的500英尺直径)，其中距离可以由用户变化和/或即使用户位置改变(例如在现实中或者在地图上)仍然维持于固定距离。
图4是根据一个实施例的用于高效的基于web的增强现实应用查看器的过程的流程图。在各种实施例中，运行时间模块205和/或服务平台113执行过程400的全部或者部分并且例如实施于如图7中所示包括处理器和存储器的芯片组中。在某些实施例中，服务平台113可以执行过程400的步骤中的一些或者所有步骤并且使用客户端服务器接口来与UE101通信。例如，UE101可以激活用于请求和显示来自服务平台113的透视显示的应用107。另外，应用107可以在运行时间模块205上执行。
在步骤401中，服务平台113和/或应用107至少部分基于至少部分在请求中指定的路径信息确定一个或者多个查看位置。例如，用户可以指示如下路径(例如街道)而不是固定位置，将在预览中沿着该路径呈现一个或者多个图像、一个或者多个图像序列和/或视频流。
在步骤403中，服务平台113处理和/或有助于处理请求以确定内容信息。在一个示例中，web服务器从用户(例如用户设备)接收请求并且确定在请求中指定什么。另外，web服务器可以确定在请求中指定的内容信息并且可以断定内容的位置和/或与内容的关联信息。在另一示例中，用户请求包括用于内容的一个或者多个URI。在另一示例中，用户与用户请求一起提供一个或者多个内容(例如图像)。
在步骤405中，服务平台113和/或应用107至少部分引起在用户界面、一个或者多个图像、一个或者多个序列或者其组合中渲染内容信息。例如，在一个或者多个网络服务器上的一个或者多个应用可以提供与用户标识的一个或者多个内容项目关联的一个或者多个信息项目。在另一示例中，可以从一个或者多个来源(例如web服务器)收集并且可以在用户设备处的预览中呈现与内容项目关联的信息项目。
在步骤407中，服务平台113和/或应用107处理和/或有助于处理一个或者多个图像、一个或者多个序列或者其组合以至少部分引起生成一个或者多个用户交互元素。在某些示例中，web服务器请求和接收来自一个或者多个来源(例如其它web服务器)的一个或者多个图像和/或一个或者多个关联信息项目，并且确定用于经由在用户设备上的web客户端向用户呈现的一个或者多个交互元素。例如，用户可以选择内容项目并且从在地图上的一个位置向在地图上的另一位置移动内容项目。在另一示例中，用户可以在地图上添加新内容项目。
在步骤409中，服务平台113和/或应用107至少部分引起将一个或者多个用户交互元素与一个或者多个图像、一个或者多个序列或者其组合分组。在某些示例中，服务器应用可以例如基于用户定义的参数、用户设备能力、可用交互选项、web客户端选项等确定一个或者多个交互元素并且关联它们与一个或者多个图像用于向用户呈现。在另一实施例中，一个或者多个用户交互元素至少部分包括一个或者多个异步脚本元素，其中脚本允许渲染的呈现继续被处理并且将在接收来自web服务器的答复时处理它。另外，一个或者多个异步脚本元素至少部分包括排列一个或者多个图像、一个或者多个序列或者其组合用于至少部分支持滚动、摇动、缩放或者其组合。例如，在渲染预览时异步处理一个或者多个交互元素(例如缩放)可以避免在仍然处理从服务器取回一个或者多个元素之时的延迟，因为用户可以继续与呈现交互并且可以在接收来自web服务器的响应时处理其余请求的内容/信息。
图5A和5B是根据各种实施例的描绘在用户设备处的透视显示渲染的用户界面的示图。图5A表示地图实体501的渲染，其中查看者定位503可以是用户位置或者用户指示的位置和用户、服务平台113和/或内容提供者116提交的一个或者多个参数指示的对象定位505。另外，透视显示507是位置(例如用户位置)的呈现，该呈现包括用户和/或内容提供者116提供的对象/内容509的渲染，其中可以例如通过选择到511查看选项来与地图分离查看透视显示507。图5B示出UI521，其中在UI中分离地呈现透视显示507，并且其中用户可以从用于与在显示中呈现的对象、内容和/或POI交互的一个或者多个选项523a-523n或者其它UI菜单选项、例如在透视显示中包括的移动、添加、去除等中选择。例如，用户可以从可用对象/POI范围(例如来自本地和/或远程存储装置、从因特网等)选择并且向透视显示中引入。在另一示例中，附加对象/内容可以随着用户位置和/或透视实体位置改变而变成可用。在另一实施例中，用户和/或服务平台113可以标识和/或选择具有各种设备能力的一个或者多个用户设备，从而可以预览、检查、评估、预筛选、选择等用于每个用户设备的一个或者多个可能透视显示渲染。
可以有利地经由软件、硬件、固件或者软件和/或固件和/或硬件的组合实施这里描述的用于提供高效的基于web的增强现实应用查看器的过程。例如，可以有利地经由处理器、数字信号处理(DSP)芯片、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等实施这里描述的过程。下文具体描述这样的用于执行描述的功能的示例硬件。
图6图示可以在其上实施本发明的一个实施例的计算机系统600。虽然关于特定设备或者装备描绘计算机系统600，但是设想图6内的其它设备或者装备(例如网元、服务器等)可以部署系统600的所示硬件和部件。计算机系统600被编程(例如经由计算机程序代码或者指令)用于提供如这里描述的高效的基于web的增强现实应用查看器并且包括通信机制、比如用于在计算机系统600的其它内部与外部部件之间传递信息的总线610。将信息(也称为数据)表示为可测量现象的物理表达，该现象通常为电压、但是在其它实施例中包括比如磁、电磁、压力、化学、生物、分子、原子、亚原子和量子互作用这样的现象。例如北和南磁场或者零和非零电压代表二进制数(位)的两个状态(0，1)。其它现象可以代表更高基数的数。在测量之前的多个同时量子状态的叠加代表量子位(qubit)。一个或者多个数字的序列构成数字数据，该数字数据用来代表用于字符的编号或者代码。在一些实施例中，称为模拟数据的信息由在特定范围内的可测量值的近连续统代表。计算机系统600或者其部分构成用于执行一个或者多个步骤的装置，该一个或者多个步骤提供高效的基于web的增强现实应用查看器。总线610包括一个或者多个并行信息导体使得在耦合到总线610的设备之间快速传送信息。用于处理信息的一个或者多个处理器602与总线610耦合。
一个处理器(或者多个处理器)602对信息执行如与提供高效的基于web的增强现实应用查看器有关的计算机程序代码指定的操作集。计算机程序代码是用于处理器和/或计算机系统的操作以执行指定功能的指令或者提供指令或语句的集合。例如，可以用编译成处理器的本机指令集的计算机编程语言编写代码。也可以使用本机指令集(例如机器语言)来直接编写代码。操作集包括从总线610带入信息以及将信息置于总线610上。操作集也通常包括比较两个或者更多信息单位、移位信息单位的位置以及比如通过加法或者乘法或者逻辑运算如OR、异或(XOR)和AND组合两个或者更多信息单位。称为指令的信息、比如一个或者多个数字的操作代码向处理器表示处理器可以执行的操作集的每个操作。将由处理器602执行的操作序列(比如操作代码序列)构成也称为计算机系统指令或者简称为计算机指令的处理器指令。可以独自或者组合实施处理器为机械的、电的、磁的、光学的、化学或者量子部件以及其它部件。
计算机系统600也包括耦合到总线610的存储器604。存储器604、比如随机存取存储器(RAM)或者任何其它动态存储设备存储信息，该信息包括用于提供高效的基于web的增强现实应用查看器的处理器指令。动态存储器允许其中存储的信息由计算机系统600改变。RAM允许在称为存储器地址的位置存储的信息单位与在邻近地址的信息独立地存储和取回。存储器604也由处理器602用来在执行处理器指令期间存储临时值。计算机系统600也包括耦合到总线610的只读存储器(ROM)606或者其它静态存储设备，该ROM或者其它静态存储设备用于存储计算机系统600未改变的包括指令的静态信息。一些存储器由在失去电力时丢失其上存储的信息的易失性存储装置组成。非易失性(持续)存储设备608、比如磁盘、光盘或者闪卡也耦合到总线610，该非易失性(持续)存储设备用于存储即使在计算机系统600被关断或者以别的方式失去电力时仍然持续的包括指令的信息。
从外部输入设备612、比如包含由人类用户操作的字母数字键的键盘、麦克风、红外线(IR)遥控、操纵杆、游戏板、触笔、触屏或者传感器向总线610提供信息用于由处理器使用，该信息包括用于提供高效的基于web的增强现实应用查看器的指令。传感器检测在它附近的条件并且将那些检测变换成与用来代表计算机系统600中的信息的可测量现象兼容的物理表达。主要用于与人类交互的、耦合到总线610的其它外部设备包括用于呈现文字或者图像的显示设备614、比如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、等离子体屏幕或者打印机以及用于控制在显示器614上呈现的小光标图像的位置并且发出与在显示器614上呈现的图元关联的命令的指示设备616、比如鼠标、跟踪球、光标方向键或者运动传感器。在一些实施例中、例如在计算机系统600自动执行所有功能而无人类输入的实施例中，省略外部输入设备612、显示设备614和指示设备616中的一个或者多个设备。
在所示实施例中，专用硬件、比如专用集成电路(ASIC)620耦合到总线610。专用硬件被配置用于出于特殊目的而足够快地执行处理器602未执行的操作。ASIC的示例包括用于为显示器614生成图像的图形加速器卡、用于加密和解密通过网络发送的消息的密码板、话音识别以及与特殊外部设备的接口，这些特殊外部设备比如是反复地执行在硬件中更高效实施的某一复杂操作序列的机器人手臂和医疗扫描装备。
计算机系统600也包括耦合到总线610的通信接口670的一个或者多个实例。通信接口670提供与多种外部设备的单向或者双向通信耦合，这些外部设备用它们自己的处理器操作、比如打印机、扫描仪和外部盘。一般而言，耦合是与连接到本地网络680的网络链路678，多种外部设备连接到该本地网络，这些外部设备具有它们自己的处理器。例如，通信接口670可以是个人计算机上的并行端口或者串行端口或者通用串行总线(USB)端口。在一些实施例中，通信接口670是提供与对应电话线类型的信息通信连接的综合服务数字网络(ISDN)卡或者数字用户线(DSL)卡或者电话调制解调器。在一些实施例中，通信接口670是线缆调制解调器，该调制解调器将总线610上的信号转换成用于通过同轴线缆的通信连接的信号或者用于通过光纤线缆的通信连接的光学信号。作为另一示例，通信接口670可以是用于提供与兼容LAN、比如以太网的数据通信连接的局域网(LAN)卡。也可以实施无线链路。对于无线链路，通信接口670发送或者接收或者发送和接收承载信息流、比如数字数据的电的、声的或者电磁的信号，这些信号包括红外线和光学信号。例如，在无线手持设备、比如移动电话如蜂窝电话中，通信接口670包括称为无线电收发器的无线电频带电磁发射器和接收器。在某些实施例中，通信接口670实现与通信网络105的连接用于提供高效的基于web的增强现实应用查看器。
如这里所用术语“计算机可读介质”是指参与向处理器602提供信息的任何介质，该信息包括用于执行的指令。这样的介质可以采用许多形式，这些形式包括但不限于计算机可读存储介质(例如非易失性介质、易失性介质)和传输介质。非瞬态介质、比如非易失性介质例如包括光盘或者磁盘、比如存储设备608。易失性介质例如包括动态存储器604。传输介质例如包括双绞线缆、同轴线缆、铜线、光纤线缆和经过空间行进而无接线或者线缆的载波、比如声波和电磁波，这些电磁波包括无线电波、光波和红外线波。信号包括通过传输介质传输的在幅度、频率、相位、极化或者其它物理性质上的人为瞬态变化。常见计算机可读介质形式例如包括软盘、柔性盘、硬盘、磁带、任何其它磁介质、CD-ROM、CDRW、DVD、任何其它光学介质、打孔卡、纸带、光学标记片、具有孔图案或者其它光学可识别戳记的任何其它物理介质、RAM、PROM、EPROM、FLASH-EPROM、EEPROM、闪存、任何其它存储器芯片或者盒、载波或者计算机可以从其读取的任何其它介质。术语计算机可读存储介质这里用来是指除了传输介质之外的任何计算机可读介质。
在一个或者多个有形介质上编码的逻辑包括计算机可读存储介质上的处理器指令和专用硬件、比如ASIC620中的一项或者两项。
网络链路678通常通过一个或者多个网络使用传输介质向使用或者处理信息的其它设备提供信息通信。例如网络链路678可以提供通过本地网络680的与主机计算机682或者与因特网服务提供商(ISP)操作的装备684的连接。ISP装备684又通过现在普遍称为因特网690的一个或者多个公共全球范围分组交换通信网络提供数据通信服务。
连接到因特网的称为服务器主机692的计算机主控响应于通过因特网接收的信息提供服务的过程。例如，服务器主机692主控提供信息的过程，该信息代表用于在显示器614呈现的视频数据。设想系统600的部件可以在各种配置中部署于其它计算机系统、例如主机682和服务器692内。
本发明的至少一些实施例与将计算机系统600用于实施这里描述的技术中的一些或者所有技术有关。根据本发明的一个实施例，计算机系统600响应于处理器602执行存储器604中包含的一个或者多个处理器指令的一个或者多个序列来执行那些技术。可以从另一计算机可读介质、比如存储设备608或者网络链路678向存储器604中读入也称为计算机指令、软件和程序代码的这样的指令。对存储器604中包含的指令序列的执行使处理器602执行这里描述的方法步骤中的一个或者多个方法步骤。在备选实施例中，硬件、比如ASIC620可以取代软件或者与软件组合用来实施本发明。因此，除非这里另有明示，本发明的实施例不限于硬件与软件的任何具体组合。
经过通信接口670通过网络链路678和其它网络传输的信号承载去往和来自计算机系统600的信息。计算机系统600可以通过网络链路678和通信接口670、通过网络680、690以及其它网络发送和接收包括程序代码的信息。在使用因特网690的示例中，服务器主机692通过因特网690、ISP装备684、本地网络680和通信接口670传输从计算机600发送的消息所请求的用于特定应用的程序代码。接收的代码可以在它被接收时由处理器602执行或者可以存储于存储器604中或者存储设备608或者其它非易失性存储装置中用于以后执行或者兼而有之。以这一方式，计算机系统600可以用载波上的信号这一形式获得应用程序代码。
可以在向处理器602承载一个或者多个指令序列或者数据或者二者用于执行时涉及到各种形式的计算机可读介质。例如，可以起初在远程计算机、比如主机682的磁盘上承载指令和数据。远程计算机向它的动态存储器中加载指令和数据并且使用调制解调器通过电话线发送指令和数据。计算机系统600本地的调制解调器在电话线上接收指令和数据并且使用红外线发射器以将指令和数据转换成适于作为网络链路678的红外线载波上的信号。适于作为通信接口670的红外线检测器接收红外线信号中承载的指令和数据并且将代表指令和数据的信息置于总线610上。总线610向存储器604承载信息，处理器602从该存储器取回指令并且使用与指令一起发送的数据中的一些数据来执行指令。在存储器604中接收的指令和数据可以可选地在由处理器602执行之前或者之后存储于存储设备608上。
图7图示可以在其上实施本发明的一个实施例的芯片组或者芯片700。芯片组700被编程用于提供如这里描述的高效的基于web的增强现实应用查看器并且例如包括在一个或者多个物理封装(例如芯片)中并入的、关于图6描述的处理器和存储器部件。举例而言，物理封装包括一个或者多个材料、部件和/或接线在结构组件(例如基板)上的布置，该布置用于提供一个或者多个特性、比如物理强度、尺寸节约和/或电互作用限制。设想在某些实施例中，可以在单个芯片中实施芯片组700。还设想在某些实施例中，可以实施芯片组或者芯片700为单个“片上系统”。还设想在某些实施例中，例如将未使用单独的ASIC并且如这里公开的，所有相关功能将由一个或者多个处理器执行。芯片组或者芯片700或者其部分构成用于执行一个或者多个步骤的装置，该一个或者多个步骤提供与功能的可用性关联的用户接口导航信息。芯片组或者芯片700或者其部分构成用于执行一个或者多个步骤的装置，该一个或者多个步骤提供高效的基于web的增强现实应用查看器。
在一个实施例中，芯片组或者芯片700包括通信机制、比如用于在芯片组700的部件之间传递信息的总线701。处理器703具有与总线701的连通以执行例如在存储器705中存储的指令并且处理例如在存储器705中存储的信息。处理器703可以包括一个或者多个处理核而每个核被配置用于独立执行。多核处理器在单个物理封装内实现多处理。多核处理器的示例包括两个、四个、八个或者更大数目的处理芯。备选地或者附加地，处理器703可以包括经由总线701串接配置用于实现独立执行指令、流水线和多线程的一个或者多个微处理器。处理器703也可以附带有用于执行某些处理功能和任务的一个或者多个专门化部件、比如一个或者多个数信号处理器(DSP)707或者一个或者多个专用集成电路(ASIC)709。DSP707通常被配置用于与处理器703独立实时处理现实信号(例如声音)。类似地，ASIC709可以被配置用于执行更通用处理器不容易执行的专门化功能。用于辅助执行这里描述的发明功能的其它专门化部件可以包括一个或者多个现场可编程门阵列(FPGA)(未示出)、一个或者多个控制器(未示出)或者一个或者多个其它专用计算机芯片。
在一个实施例中，芯片组或者芯片700仅包括一个或者多个处理器以及支持和/或涉及和/或用于一个或者多个处理器的一些软件和/或固件。
处理器703和附带部件具有经由总线701的与存储器705的连通。存储器705包括用于存储可执行指令的动态存储器(例如RAM、磁盘、可写入光盘等)和静态存储器(例如ROM、CD-ROM等)二者，这些可执行指令在被执行时执行这里描述的发明步骤以提供高效的基于web的增强现实应用查看器。存储器705也存储与发明步骤的执行关联或者通过执行发明步骤而生成的数据。
图8是根据一个实施例的能够在图1的系统中操作的用于通信的移动终端(例如手机)的示例部件的图。在一些实施例中，移动终端801或者其部分构成用于提供高效的基于web的增强现实应用查看器的装置。一般而言，经常在前端和后端特性方面定义无线电接收器。接收器的前端涵盖所有射频(RF)电路装置，而后端涵盖所有基带处理电路装置。如在本申请中所用，术语“电路装置”是指以下二者：(1)仅硬件的实现方式(比如在仅模拟和/或数字电路装置中的实现方式)和(2)电路装置与软件(和/或固件)的组合(比如如果适用于特定情境，则是指包括数字信号处理器的处理器、软件和存储器的组合，这些处理器、软件和存储器一起工作以使装置、比如移动电话或者服务器执行各种功能)。“电路装置”的这一定义适用于这一术语在本申请中、包括在任何权利要求中的所有使用。作为又一示例，如在本申请中所用并且如果适用于特定情境，则术语“电路装置”也将覆盖仅一个处理器(或者多个处理器)及其附带软件/或者固件的实现方式。术语“电路装置”如果适用于特定情境则也将例如覆盖移动电话中的基带集成电路或者应用处理器集成电路或者蜂窝网络设备或者其它网络设备中的相似集成电路。
电话的相关内部部件包括主控制单元(MCU)803、数字信号处理器(DSP)805和接收器/发射器单元，该接收器/发射器单元包括麦克风增益控制单元和扬声器增益控制单元。主显示单元807向用户提供支持各种应用和移动终端功能的显示，这些应用和移动终端功能执行或者支持提供高效的基于web的增强现实应用查看器的步骤。显示器807包括显示电路装置，该显示电路装置被配置用于显示移动终端(例如移动电话)的用户接口的至少部分。此外，显示器807和显示电路装置被配置用于有助于用户控制移动终端的至少一些功能。音频功能电路装置809包括麦克风811和放大从麦克风811输出的话音信号的麦克风放大器。向编码器/解码器(CODEC)813馈送从麦克风811输出的放大的话音信号。
无线电部815放大功率并且转换频率以便经由天线817与移动通信系统中包括的基站通信。如本领域中所知，功率放大器(PA)819和发射器/调制电路装置在操作上响应于MCU803而来自PA819的输出耦合到双工器821或者循环器或者天线开关。PA819也耦合到电池接口和功率控制单元820。
在使用中，移动终端801的用户向麦克风811中讲话，并且他的或者她的语音与任何检测到的背景噪音一起转换成模拟电压。然后通过模数转换器(ADC)823将模拟电压转换成数字信号。控制单元803向DSP805中传送数字信号用于其中的处理、比如话音编码、信道编码、加密和交织。在一个实施例中，未单独示出的单元使用蜂窝传输协议、比如全球演进(EDGE)、通用分组无线电服务(GPRS)、全球移动通信系统(GSM)、网际协议多媒体子系统(IMS)、通用移动电信系统(UMTS)等以及任何其它适当无线介质、例如微波接入(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(WiFi)、卫星等或者其任何组合对处理的语音信号编码。
然后向均衡器825传送编码的信号用于补偿在经过空气传输期间出现的任何依赖于频率的削弱、比如相位和幅度失真。在均衡位流之后，调制器827组合信号与RF接口829中生成的RF信号。调制器827通过频率或者相位调制生成正弦波。为了准备信号用于传输，上变频转换器831组合从调制器827输出的正弦波与合成器833生成的另一正弦波以实现希望的传输频率。然后通过PA819发送信号以将信号增加至适当功率电平。在实际系统中，PA819充当可变增益放大器，该放大器的增益由DSP805根据从网络基站接收的信息来控制。然后，在双工器821内对信号滤波并且可选地向天线耦合器835发送以匹配阻抗从而提供最大功率传送。最后，经由天线817向本地基站传输信号。可以供应自动增益控制(AGC)以控制接收器的末级的增益。可以从这里向远程电话转发信号，该远程电话可以是另一蜂窝电话、任意其它移动电话或者是连接到公共交换电话网络(PSTN)或者其它电话网络的陆线。
经由天线817接收向移动终端801传输的语音信号并且立即由低噪声放大器(LNA)837放大。下变频转换器839降低载波频率而解调器841剥离RF从而仅留下数字位流。信号然后穿过均衡器825并且由DSP805处理。数模转换器(DAC)843转换信号并且通过扬声器845向用户传输所得输出，所有这些都在可以实施为中央处理单元(CPU)(未示出)的主控制单元(MCU)803的控制之下。
MCU803接收包括来自键盘847的输入信号的各种信号。与其它用户输入部件(例如麦克风811)组合的键盘847和/或MCU803包括用于管理用户输入的用户接口电路装置。MCU803运行用户接口软件以有助于用户控制移动终端801的至少一些功能以提供高效的基于web的增强现实应用查看器。MCU803也分别向显示器807和向话音输出切换控制器递送显示命令和切换命令。另外，MCU803与DSP805交换信息并且可以访问可选地并入的SIM卡849和存储器851。此外，MCU803执行终端的所需各种控制功能。DSP805可以根据实现方式对语音信号执行多种常规数字处理功能中的任何数字处理功能。此外，DSP805根据麦克风811检测的信号确定本地环境的背景噪声电平并且将麦克风811的增益设置成为了补偿移动终端801的用户的自然倾向而选择的电平。
CODEC813包括ADC823和DAC843。存储器851存储包括呼叫传入音频数据的各种数据并且能够存储包括例如经由全球因特网接收的音乐数据的其它数据。软件模块可以驻留于RAM存储器、闪存、寄存器或者在本领域中已知的任何其它形式的可写入存储介质中。存储器设备851可以是但不限于单个存储器、CD、DVD、ROM、RAM、EEPROM、光学存储装置、磁盘存储装置、闪存存储装置或者是能够存储数字数据的任何其它非易失性存储介质。
可选地并入的SIM卡849承载例如重要信息、比如蜂窝电话号码、载体供应服务、预订细节和安全信息。SIM卡849主要服务于在无线电网络上标识移动终端801。卡849也包含用于存储个人电话号码注册表、文字消息和用户专属移动终端设置的存储器。
尽管已经结合多个实施例和实现方式描述本发明，但是本发明不限于此而是覆盖落入所附权利要求的范围内的各种明显修改和等效布置。虽然在权利要求之中的某些组合中表达本发明的特征，但是设想可以在任何组合和顺序中布置这些特征。

Claims (38)

1.一种方法，包括有助于处理和/或包括处理(1)数据和/或(2)信息和/或(3)至少一个信号，所述(1)数据和/或(2)信息和/或(3)至少一个信号至少部分基于以下各项：
确定来自web客户端的对于与渲染基于透视的显示的web应用关联的可视化信息的请求；
处理所述请求以至少部分引起在远离所述web客户端的服务处执行所述web应用；
至少部分基于所述web应用的所述执行来生成一个或者多个图像、所述一个或者多个图像的一个或者多个序列或者其组合，其中所述一个或者多个图像、所述一个或者多个序列或者其组合描绘在所述执行期间所述web应用的用户界面的渲染；以及
向所述web客户端传输所述一个或者多个图像、所述一个或者多个序列或者其组合作为所述可视化信息。
2.根据权利要求1所述的方法，其中所述web应用的所述执行至少部分基于在所述请求中指定的一个或者多个参数。
3.根据权利要求2所述的方法，其中所述一个或者多个参数至少部分包括用于由所述web应用渲染的一个或者多个对象模型、所述一个或者多个对象模型的一个或者多个位置、一个或者多个查看位置或者其组合。
4.根据权利要求3所述的方法，其中所述(1)数据和/或(2)信息和/或(3)至少一个信号还至少部分基于以下各项：
至少部分基于至少部分在所述请求中指定的路径信息确定所述一个或者多个查看位置。
5.根据权利要求1-4中的任一权利要求所述的方法，其中所述(1)数据和/或(2)信息和/或(3)至少一个信号还至少部分基于以下各项：
处理所述请求以确定内容信息；以及
在所述用户界面、所述一个或者多个图像、所述一个或者多个序列或者其组合中渲染所述内容信息。
6.根据权利要求1-5中的任一权利要求所述的方法，其中所述一个或者多个图像、所述一个或者多个序列或者其组合的所述生成至少部分基于与所述web客户端关联的显示能力信息、视口信息或者其组合。
7.根据权利要求1-6中的任一权利要求所述的方法，其中所述(1)数据和/或(2)信息和/或(3)至少一个信号还至少部分基于以下各项：
处理所述一个或者多个图像、所述一个或者多个序列或者其组合以至少部分引起生成一个或者多个用户交互元素；以及
将所述一个或者多个用户交互元素与所述一个或者多个图像、所述一个或者多个序列或者其组合进行编组。
8.根据权利要求7所述的方法，其中所述一个或者多个用户交互元素至少部分包括一个或者多个异步脚本元素。
9.根据权利要求8所述的方法，其中所述一个或者多个异步脚本元素至少部分包括排列所述一个或者多个图像、所述一个或者多个序列或者其组合以用于至少部分支持滚动、摇动、缩放或者其组合。
10.根据权利要求1-9中的任一权利要求所述的方法，其中通过选择在所述web客户端处呈现的用户界面中的一个或者多个选项来生成所述请求。
11.一种装置，包括：
至少一个处理器；以及
至少一个存储器，包括用于一个或者多个程序的计算机程序代码，
所述至少一个存储器和所述计算机程序代码被配置用于与所述至少一个处理器一起，使所述装置至少执行以下各项：
确定来自web客户端的对于与渲染基于透视的显示的web应用关联的可视化信息的请求；
处理和/或有助于处理所述请求以至少部分引起在远离所述web客户端的服务处执行所述web应用；
至少部分引起至少部分基于所述web应用的所述执行来生成一个或者多个图像、所述一个或者多个图像的一个或者多个序列或者其组合，其中所述一个或者多个图像、所述一个或者多个序列或者其组合描绘在所述执行期间所述web应用的用户界面的渲染；以及
至少部分引起向所述web客户端传输所述一个或者多个图像、所述一个或者多个序列或者其组合作为所述可视化信息。
12.根据权利要求11所述的装置，其中所述web应用的所述执行至少部分基于在所述请求中指定的一个或者多个参数。
13.根据权利要求12所述的装置，其中所述一个或者多个参数至少部分包括用于由所述web应用渲染的一个或者多个对象模型、所述一个或者多个对象模型的一个或者多个位置、一个或者多个查看位置或者其组合。
14.根据权利要求13所述的装置，其中还使所述装置：
至少部分基于至少部分在所述请求中指定的路径信息确定所述一个或者多个查看位置。
15.根据权利要求11-14中的任一权利要求所述的装置，其中还使所述装置：
处理和/或有助于处理所述请求以确定内容信息；以及
至少部分引起在所述用户界面、所述一个或者多个图像、所述一个或者多个序列或者其组合中渲染所述内容信息。
16.根据权利要求11-15中的任一权利要求所述的装置，其中所述一个或者多个图像、所述一个或者多个序列或者其组合的所述生成至少部分基于与所述web客户端关联的显示能力信息、视口信息或者其组合。
17.根据权利要求11-16中的任一权利要求所述的装置，其中还使所述装置：
处理和/或有助于处理所述一个或者多个图像、所述一个或者多个序列或者其组合以至少部分引起生成一个或者多个用户交互元素；以及
至少部分引起将所述一个或者多个用户交互元素与所述一个或者多个图像、所述一个或者多个序列或者其组合进行编组。
18.根据权利要求17所述的装置，其中所述一个或者多个用户交互元素至少部分包括一个或者多个异步脚本元素。
19.根据权利要求18所述的装置，其中所述一个或者多个异步脚本元素至少部分包括排列所述一个或者多个图像、所述一个或者多个序列或者其组合以用于至少部分支持滚动、摇动、缩放或者其组合。
20.根据权利要求11-19中的任一权利要求所述的装置，其中通过选择在所述web客户端处呈现的用户界面中的一个或者多个选项来生成所述请求。
21.一种方法，包括：
确定来自web客户端的对于与渲染基于透视的显示的web应用关联的可视化信息的请求；
处理和/或有助于处理所述请求以至少部分引起在远离所述web客户端的服务处执行所述web应用；
至少部分引起至少部分基于所述web应用的所述执行来生成一个或者多个图像、所述一个或者多个图像的一个或者多个序列或者其组合，其中所述一个或者多个图像、所述一个或者多个序列或者其组合描绘在所述执行期间所述web应用的用户界面的渲染；以及
至少部分引起向所述web客户端传输所述一个或者多个图像、所述一个或者多个序列或者其组合作为所述可视化信息。
22.根据权利要求21所述的方法，其中所述web应用的所述执行至少部分基于在所述请求中指定的一个或者多个参数。
23.根据权利要求22所述的方法，其中所述一个或者多个参数至少部分包括用于由所述web应用渲染的一个或者多个对象模型、所述一个或者多个对象模型的一个或者多个位置、一个或者多个查看位置或者其组合。
24.根据权利要求23所述的方法，还包括：
至少部分基于至少部分在所述请求中指定的路径信息确定所述一个或者多个查看位置。
25.根据权利要求21-24中的任一权利要求所述的方法，还包括：
处理和/或有助于处理所述请求以确定内容信息；以及
至少部分引起在所述用户界面、所述一个或者多个图像、所述一个或者多个序列或者其组合中渲染所述内容信息。
26.根据权利要求21-25中的任一权利要求所述的方法，其中所述一个或者多个图像、所述一个或者多个序列或者其组合的所述生成至少部分基于与所述web客户端关联的显示能力信息、视口信息或者其组合。
27.根据权利要求21-26中的任一权利要求所述的方法，还包括：
处理和/或有助于处理所述一个或者多个图像、所述一个或者多个序列或者其组合以至少部分引起生成一个或者多个用户交互元素；以及
至少部分引起将所述一个或者多个用户交互元素与所述一个或者多个图像、所述一个或者多个序列或者其组合进行编组。
28.根据权利要求27所述的方法，其中所述一个或者多个用户交互元素至少部分包括一个或者多个异步脚本元素。
29.根据权利要求28所述的方法，其中所述一个或者多个异步脚本元素至少部分包括排列所述一个或者多个图像、所述一个或者多个序列或者其组合以用于至少部分支持滚动、摇动、缩放或者其组合。
30.根据权利要求21-29中的任一权利要求所述的方法，其中通过选择在所述web客户端处呈现的用户界面中的一个或者多个选项来生成所述请求。
31.根据权利要求11-20中的任一权利要求所述的装置，其中所述装置是移动电话，所述移动电话还包括：
用户界面电路装置和用户界面软件，被配置用于有助于用户通过使用显示器来控制所述移动电话的至少一些功能并且被配置用于对用户输入做出响应；以及
显示器和显示电路装置，被配置用于显示所述移动电话的用户界面的至少一部分，所述显示器和显示电路装置被配置用于有助于用户控制所述移动电话的至少一些功能。
32.一种计算机可读存储介质，其承载一个或者多个指令的一个或者多个序列，所述一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时，使装置至少执行根据权利要求1-10或者21-30中的任一权利要求所述的方法。
33.一种装置，包括用于执行根据权利要求1-10或者21-30中的任一权利要求所述的方法的装置。
34.根据权利要求33所述的装置，其中所述装置是移动电话，所述移动电话还包括：
用户界面电路装置和用户界面软件，被配置用于有助于用户通过使用显示器来控制所述移动电话的至少一些功能并且被配置用于对用户输入做出响应；以及
显示器和显示电路装置，被配置用于显示所述移动电话的用户界面的至少一部分，所述显示器和显示电路装置被配置用于有助于用户控制所述移动电话的至少一些功能。
35.一种计算机程序产品，包括一个或者多个指令的一个或者多个序列，所述一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时，使装置至少执行根据权利要求1-10或者21-30中的任一权利要求所述的方法的步骤。
36.一种方法，包括有助于访问至少一个接口，所述至少一个接口被配置用于允许访问至少一个服务，所述至少一个服务被配置用于执行根据权利要求1-10或者21-30中的任一权利要求所述的方法。
37.一种方法，包括有助于处理和/或包括处理(1)数据和/或(2)信息和/或(3)至少一个信号，所述(1)数据和/或(2)信息和/或(3)至少一个信号至少部分基于根据要求1-10或者21-30中的任一权利要求所述的方法。
38.一种方法，包括有助于创建和/或有助于修改(1)至少一个设备用户界面元素和/或(2)至少一个设备用户界面功能，所述(1)至少一个设备用户界面元素和/或(2)至少一个设备用户界面功能至少部分基于根据权利要求1-10或者21-30中的任一权利要求所述的方法。
CN201280058786.1A 2011-11-30 2012-10-19 用于基于web的增强现实应用查看器的方法和装置 Pending CN103959288A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/308,083 2011-11-30
US13/308,083 US9870429B2 (en) 2011-11-30 2011-11-30 Method and apparatus for web-based augmented reality application viewer
PCT/FI2012/051004 WO2013079770A1 (en) 2011-11-30 2012-10-19 Method and apparatus for web-based augmented reality application viewer

Publications (1)

Publication Number Publication Date
CN103959288A true CN103959288A (zh) 2014-07-30

Family

ID=48466439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280058786.1A Pending CN103959288A (zh) 2011-11-30 2012-10-19 用于基于web的增强现实应用查看器的方法和装置

Country Status (4)

Country Link
US (1) US9870429B2 (zh)
EP (1) EP2786354A4 (zh)
CN (1) CN103959288A (zh)
WO (1) WO2013079770A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016106494A1 (zh) * 2014-12-29 2016-07-07 深圳市大疆创新科技有限公司 一种实现媒体对象显示的方法、装置及系统
CN106170101A (zh) * 2015-05-20 2016-11-30 株式会社理光 内容供应系统、信息处理设备和内容再现方法
CN106910292A (zh) * 2017-02-28 2017-06-30 上海量明科技发展有限公司 通过增强现实查看共享车辆的方法、客户端及系统
CN107103209A (zh) * 2016-02-19 2017-08-29 奥多比公司 3d数字内容交互和控制
CN108712360A (zh) * 2017-04-12 2018-10-26 朱恩辛 一种跨界互动交友系统及其方法
CN109215132A (zh) * 2017-06-30 2019-01-15 华为技术有限公司 一种增强现实业务的实现方法及设备
CN111429585A (zh) * 2020-03-30 2020-07-17 北京字节跳动网络技术有限公司 图像生成方法、装置、电子设备及计算机可读存储介质

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110139375A (ko) * 2010-06-23 2011-12-29 삼성전자주식회사 위치 정보가 포함된 이미지의 디스플레이 방법 및 장치
JP5747673B2 (ja) * 2011-06-10 2015-07-15 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR101873525B1 (ko) * 2011-12-08 2018-07-03 삼성전자 주식회사 휴대단말기의 콘텐츠 표시장치 및 방법
KR101874895B1 (ko) * 2012-01-12 2018-07-06 삼성전자 주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기
US20130328902A1 (en) * 2012-06-11 2013-12-12 Apple Inc. Graphical user interface element incorporating real-time environment data
US9693108B2 (en) * 2012-06-12 2017-06-27 Electronics And Telecommunications Research Institute Method and system for displaying user selectable picture
US20140215296A1 (en) * 2013-01-25 2014-07-31 Chunghwa Wideband Best Network Co., Ltd. Method and system for presenting a webpage
US9092818B2 (en) 2013-01-31 2015-07-28 Wal-Mart Stores, Inc. Method and system for answering a query from a consumer in a retail store
US10803232B2 (en) * 2013-06-06 2020-10-13 International Business Machines Corporation Optimizing loading of web page based on aggregated user preferences for web page elements of web page
KR102114260B1 (ko) * 2013-08-27 2020-06-08 에스케이플래닛 주식회사 스크립트 생성 장치, 방법 및 컴퓨터로 판독 가능한 기록매체
JP2016535370A (ja) * 2013-09-10 2016-11-10 カルガリー・サイエンティフィック・インコーポレイテッドＣａｌｇａｒｙ Ｓｃｉｅｎｔｉｆｉｃ Ｉｎｃ． 分散型サーバ側及びクライアント側画像データレンダリングのためのアーキテクチャ
CN106063205B (zh) 2013-11-06 2018-06-29 卡尔加里科技股份有限公司 远程访问环境中客户端流量控制的装置和方法
US9679144B2 (en) 2013-11-15 2017-06-13 Microsoft Technology Licensing, Llc Protecting privacy in web-based immersive augmented reality
EP3146729A4 (en) * 2014-05-21 2018-04-11 Millennium Three Technologies Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof
KR102300034B1 (ko) * 2014-07-04 2021-09-08 엘지전자 주식회사 디지털 이미지 처리 장치 및 제어 방법
US9799143B2 (en) * 2014-08-15 2017-10-24 Daqri, Llc Spatial data visualization
US9799142B2 (en) 2014-08-15 2017-10-24 Daqri, Llc Spatial data collection
US9830395B2 (en) * 2014-08-15 2017-11-28 Daqri, Llc Spatial data processing
CN104266654A (zh) * 2014-09-26 2015-01-07 广东好帮手电子科技股份有限公司 一种车载实景导航系统及方法
WO2016077506A1 (en) 2014-11-11 2016-05-19 Bent Image Lab, Llc Accurate positioning of augmented reality content
CN104932880A (zh) * 2015-05-29 2015-09-23 广东小天才科技有限公司 应用中的路径构建方法和装置
US10234305B2 (en) * 2015-08-27 2019-03-19 Here Global B.V. Method and apparatus for providing a targeted map display from a plurality of data sources
US10600249B2 (en) 2015-10-16 2020-03-24 Youar Inc. Augmented reality platform
KR102482595B1 (ko) * 2015-12-17 2022-12-30 삼성전자주식회사 지도 정보 제공 방법 및 이를 지원하는 전자 장치
US10824320B2 (en) * 2016-03-07 2020-11-03 Facebook, Inc. Systems and methods for presenting content
CN105812865A (zh) * 2016-03-14 2016-07-27 联想(北京)有限公司 一种信息处理方法及电子设备
WO2017165705A1 (en) * 2016-03-23 2017-09-28 Bent Image Lab, Llc Augmented reality for the internet of things
CN106385587B (zh) * 2016-09-14 2019-08-02 三星电子（中国）研发中心 分享虚拟现实视角的方法、装置及系统
CN108460839A (zh) * 2017-02-20 2018-08-28 王素萍 一种ar应用的编辑器
US11249714B2 (en) 2017-09-13 2022-02-15 Magical Technologies, Llc Systems and methods of shareable virtual objects and virtual objects as message objects to facilitate communications sessions in an augmented reality environment
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
CN109785931A (zh) * 2017-11-10 2019-05-21 北京连心医疗科技有限公司 基于优化分布式云放疗计划系统及使用方法、存储介质
US11398088B2 (en) 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
WO2019164514A1 (en) * 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view
US10813169B2 (en) 2018-03-22 2020-10-20 GoTenna, Inc. Mesh network deployment kit
CN116248937A (zh) 2018-03-26 2023-06-09 索尼公司 信息处理装置及信息处理方法
US20190311525A1 (en) * 2018-04-05 2019-10-10 Lumini Corporation Augmented reality object cluster rendering and aggregation
US11272081B2 (en) * 2018-05-03 2022-03-08 Disney Enterprises, Inc. Systems and methods for real-time compositing of video content
US10607391B2 (en) * 2018-07-04 2020-03-31 International Business Machines Corporation Automated virtual artifact generation through natural language processing
WO2020025142A1 (en) * 2018-08-03 2020-02-06 Huawei Technologies Co., Ltd. Providing location-based augmented reality content
US11429333B2 (en) * 2018-09-22 2022-08-30 BadVR, Inc. Immersive data visualization
US11467656B2 (en) 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
US11366564B2 (en) 2019-03-13 2022-06-21 Samsung Electronics Co., Ltd. Electronic device and method for multi-view browsing in an augmented reality environment
US11412350B2 (en) * 2019-09-19 2022-08-09 Apple Inc. Mobile device navigation system
US11442593B2 (en) * 2019-12-06 2022-09-13 Magic Leap, Inc. Dynamic browser stage
US10777017B1 (en) * 2020-01-24 2020-09-15 Vertebrae Inc. Augmented reality presentation using a uniform resource identifier
US10979672B1 (en) * 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
US11928756B2 (en) 2021-09-22 2024-03-12 Google Llc Geographic augmented reality design for low accuracy scenarios
US20240013495A1 (en) * 2022-07-06 2024-01-11 Journee Technologies Gmbh Systems and methods for the interactive rendering of a virtual environment on a user device with limited computational capacity
WO2024069534A1 (en) * 2022-09-30 2024-04-04 Sightful Computers Ltd Adaptive extended reality content presentation in multiple physical environments

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149842A (zh) * 2006-09-19 2008-03-26 西门子公司 利用图像着色系统的多维图像数据的细节级别设置
US20080291217A1 (en) * 2007-05-25 2008-11-27 Google Inc. Viewing and navigating within panoramic images, and applications thereof
CN101523432A (zh) * 2006-10-10 2009-09-02 微软公司 标识地点的景点
US20100131947A1 (en) * 2008-11-24 2010-05-27 Disney Enterprises, Inc. System and method for enabling a local user of a real-life simulation environment to interact with a remote user of a corresponding virtual environment
CN102194007A (zh) * 2011-05-31 2011-09-21 中国电信股份有限公司 获取移动增强现实信息的系统和方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563529B1 (en) * 1999-10-08 2003-05-13 Jerry Jongerius Interactive system for displaying detailed view and direction in panoramic images
US6618053B1 (en) * 2000-01-10 2003-09-09 Vicarious Visions, Inc. Asynchronous multilevel texture pipeline
JP3893983B2 (ja) 2002-01-17 2007-03-14 ソニー株式会社 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム
US7143111B2 (en) * 2002-04-17 2006-11-28 Joho Service Corporation Magazine automatic editing system
US7185116B2 (en) * 2002-12-27 2007-02-27 Microsoft Corporation Template-based customization of a user interface for a messaging application program
US6968973B2 (en) * 2003-05-31 2005-11-29 Microsoft Corporation System and process for viewing and navigating through an interactive video tour
JP3972366B2 (ja) * 2003-09-26 2007-09-05 マツダ株式会社 車両用情報提供装置
US20050289590A1 (en) 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
US7746376B2 (en) * 2004-06-16 2010-06-29 Felipe Mendoza Method and apparatus for accessing multi-dimensional mapping and information
US7274378B2 (en) * 2004-07-29 2007-09-25 Rand Mcnally & Company Customized wall map printing system
IL169934A (en) * 2005-07-27 2013-02-28 Rafael Advanced Defense Sys Real-time geographic information system and method
JP4333704B2 (ja) 2006-06-30 2009-09-16 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US8204684B2 (en) * 2007-06-28 2012-06-19 Apple Inc. Adaptive mobile device navigation
US8428873B2 (en) * 2008-03-24 2013-04-23 Google Inc. Panoramic images within driving directions
DE202009019125U1 (de) * 2008-05-28 2016-12-05 Google Inc. Bewegungsgesteuerte Ansichten auf mobilen Computergeräten
US9480919B2 (en) 2008-10-24 2016-11-01 Excalibur Ip, Llc Reconfiguring reality using a reality overlay device
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
US8483715B2 (en) * 2009-03-26 2013-07-09 Yahoo! Inc. Computer based location identification using images
US8682879B2 (en) 2010-04-16 2014-03-25 Bizmodeline Co., Ltd. Marker search system for augmented reality service
US20110279446A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device
US9728007B2 (en) 2010-05-18 2017-08-08 Teknologian Tutkimuskeskus Vtt Oy Mobile device, server arrangement and method for augmented reality applications
US8370863B2 (en) * 2010-05-21 2013-02-05 Nokia Corporation Method and apparatus for integrating applications on demand to display and manipulate a semantic resource
US9619138B2 (en) * 2012-06-19 2017-04-11 Nokia Corporation Method and apparatus for conveying location based images based on a field-of-view

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149842A (zh) * 2006-09-19 2008-03-26 西门子公司 利用图像着色系统的多维图像数据的细节级别设置
CN101523432A (zh) * 2006-10-10 2009-09-02 微软公司 标识地点的景点
US20080291217A1 (en) * 2007-05-25 2008-11-27 Google Inc. Viewing and navigating within panoramic images, and applications thereof
US20100131947A1 (en) * 2008-11-24 2010-05-27 Disney Enterprises, Inc. System and method for enabling a local user of a real-life simulation environment to interact with a remote user of a corresponding virtual environment
CN102194007A (zh) * 2011-05-31 2011-09-21 中国电信股份有限公司 获取移动增强现实信息的系统和方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016106494A1 (zh) * 2014-12-29 2016-07-07 深圳市大疆创新科技有限公司 一种实现媒体对象显示的方法、装置及系统
CN107079144A (zh) * 2014-12-29 2017-08-18 深圳市大疆创新科技有限公司 一种实现媒体对象显示的方法、装置及系统
CN107079144B (zh) * 2014-12-29 2020-03-17 深圳市大疆创新科技有限公司 一种实现媒体对象显示的方法、装置及系统
CN106170101A (zh) * 2015-05-20 2016-11-30 株式会社理光 内容供应系统、信息处理设备和内容再现方法
CN106170101B (zh) * 2015-05-20 2019-05-03 株式会社理光 内容供应系统、信息处理设备和内容再现方法
CN107103209A (zh) * 2016-02-19 2017-08-29 奥多比公司 3d数字内容交互和控制
CN107103209B (zh) * 2016-02-19 2022-04-29 奥多比公司 3d数字内容交互和控制
CN106910292A (zh) * 2017-02-28 2017-06-30 上海量明科技发展有限公司 通过增强现实查看共享车辆的方法、客户端及系统
CN108712360A (zh) * 2017-04-12 2018-10-26 朱恩辛 一种跨界互动交友系统及其方法
CN109215132A (zh) * 2017-06-30 2019-01-15 华为技术有限公司 一种增强现实业务的实现方法及设备
CN111429585A (zh) * 2020-03-30 2020-07-17 北京字节跳动网络技术有限公司 图像生成方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
EP2786354A4 (en) 2015-07-22
US20130135344A1 (en) 2013-05-30
EP2786354A1 (en) 2014-10-08
US9870429B2 (en) 2018-01-16
WO2013079770A1 (en) 2013-06-06

Similar Documents

Publication Publication Date Title
CN103959288A (zh) 用于基于web的增强现实应用查看器的方法和装置
US8566020B2 (en) Method and apparatus for transforming three-dimensional map objects to present navigation information
US20170323478A1 (en) Method and apparatus for evaluating environmental structures for in-situ content augmentation
CN103262125B (zh) 用于注解兴趣点信息的方法和装置
CN103857989B (zh) 用于在活动用户接口元素中呈现搜索结果的方法和装置
US9558559B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US20170228937A1 (en) Method and apparatus for rendering a location-based user interface
CA2799443C (en) Method and apparatus for presenting location-based content
US9317133B2 (en) Method and apparatus for generating augmented reality content
US20120194547A1 (en) Method and apparatus for generating a perspective display
CN103443589A (zh) 用于确定位置偏移信息的方法和装置
US9978170B2 (en) Geometrically and semanitcally aware proxy for content placement
JP2013545975A5 (zh)
CN104160247A (zh) 用于确定停车区域位置信息的方法和装置
US20130271488A1 (en) Method and apparatus for filtering and transmitting virtual objects
JP2015007632A (ja) 位置オフセット情報を決定する方法および装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160201

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140730