CN103003847A - 用于渲染基于位置的用户界面的方法和装置 - Google Patents

用于渲染基于位置的用户界面的方法和装置 Download PDF

Info

Publication number
CN103003847A
CN103003847A CN2011800348052A CN201180034805A CN103003847A CN 103003847 A CN103003847 A CN 103003847A CN 2011800348052 A CN2011800348052 A CN 2011800348052A CN 201180034805 A CN201180034805 A CN 201180034805A CN 103003847 A CN103003847 A CN 103003847A
Authority
CN
China
Prior art keywords
play
user interface
impel
location
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800348052A
Other languages
English (en)
Inventor
B·卡斯特罗
D·J·墨菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN103003847A publication Critical patent/CN103003847A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种用于使得能够在与基于位置的服务相关联的内容的两次更完整的渲染之间进行舒适的轻量转换的方法。使得一种设备基于与起始位置信息对应一个或多个三维模型、全景图像数据等的位置信息,呈现图形用户界面的第一渲染。在设备最终呈现与起点渲染类似的目的地渲染之前,促使渲染位置发生变化,导致至少部分地基于与中间位置相关联的模型和可能的图像数据的一系列过渡渲染。过渡渲染提供舒适的转换,这种转换允许设备有时间获取和处理与最终渲染相关联的大量的数据。

Description

用于渲染基于位置的用户界面的方法和装置
背景技术
计算设备(例如,移动设备、个人计算机、终端等等)快速地变为当今懂技术的、内容驱动用户的介质选择。注意到现代设备可以过度的图形用户界面(GUI)为特征,以支持复杂的视觉应用。GUI支持用于以下各项的应用:显示媒体、呈现互联网内容、使能社交通信和交互、浏览图像或者照片、以及其它视觉导向的任务。一些设备甚至能执行使用户能够通过GUI显示表示用户的当前环境和/或另一远端环境的全景图像的实时的基于位置的应用和服务。因此,当进行视觉导向的应用时,用户体验的整体质量在很大程度上取决于设备向GUI流畅地呈现丰富细节、高分辨率图像的能力。不幸地是,在图像向GUI缓慢地或者充其量逐渐地渲染时,体验的质量受抑制。此外,当图像旨在描述与位置的实时外观不充分匹配的位置时,依赖这种高分辨率细节化影像的基于位置的服务对于用户来说是较不具有吸引力的。
发明内容
因此,需要一种将图像渲染到设备的图形用户界面以实现基于位置的服务的方法。
根据一个实施例,一种方法,包括:在设备处接收向用户界面渲染基于位置的服务的请求,该请求包括位置信息。该方法还包括至少部分地基于与所述位置信息相对应的三维模型,至少部分地促使在用户界面中呈现第一渲染。该方法还包括至少部分地基于与位置信息相关联的图像数据,至少部分地促使在用户界面中呈现第二渲染。
根据另一个实施例,一种装置包括至少一个处理器。该装置还包括至少一个存储器,该至少一个存储器包括用于一个或多个程序的计算机程序代码,该至少一个存储器和该计算机程序代码配置成使用所述至少一个处理器在设备处接收向用户界面渲染基于位置的服务的请求,该请求包括位置信息。进一步使得该装置至少部分地基于与所述位置信息相对应的三维模型,至少部分地促使在所述用户界面中呈现第一渲染。进一步使得该装置至少部分地基于与所述位置信息相关联的图像数据,至少部分地促使在所述用户界面中呈现第二渲染。
根据另一个实施例,一种承载一个或多个指令的一个或多个序列的计算机可读存储介质,当由一个或多个处理器执行时,使装置在设备处接收向用户界面渲染基于位置的服务的请求,所述请求包括位置信息。进一步使得该装置至少部分地基于与所述位置信息相对应的三维模型,至少部分地促使在所述用户界面中呈现第一渲染。进一步使得该装置至少部分地基于与所述位置信息相关联的图像数据,至少部分地导促使致在所述用户界面中呈现第二渲染。
根据另一个实施例,一种装置,包括:用于在设备处接收向用户界面渲染基于位置的服务的请求的部件,该请求包括位置信息。该装置还包括:用于至少部分地基于与所述位置信息相对应的三维模型,至少部分地促使在所述用户界面中呈现第一渲染的部件。该装置还包括:用于至少部分地基于与所述位置信息相关联的图像数据,至少部分地促使在所述用户界面中呈现第二渲染的部件。
在下面的详细描述中,通过说明多个特定实施例和实施方式,包括预期执行本发明的最佳模式,本发明的其它方面、特征和优势将变得明显。本发明还可具有其他和不同的实施例,并且可以以多种显而易见的方式修改一些细节,这些都不偏离本发明的精神和范围。因此,附图和说明本质上应视为说明性的,而非限制性的。
附图说明
对发明的实施例的描述是以举例的方式,而不作为限制,在附图中:
图1是根据一个实施例,能够将图像渲染到设备的图形用户界面以实现基于位置的服务的系统的示意图;
图2是根据一个实施例的用户设备的组件的示意图;
图3是根据一个实施例,用于将图像渲染到设备的图形用户界面以实现基于位置的服务的高级处理的流程图;
图4A-4E是根据各个实施例在图3的处理中使用的用户界面的示意图;
图5是能够用于实施本发明的实施例的硬件的示意图;
图6是能够用于实现本发明的实施例的芯片组的示意图;以及
图7是能够用于实现本发明的实施例的移动终端(例如,手持设备)的示意图。
具体实施方式
公开了用于将图像渲染到设备的图形用户界面的方法、装置和计算机程序,所述用户设备即为移动设备,用于实现基于位置的服务。在下文的描述中,为了解释的目的,陈述了多种特定细节,以便提供对本发明实施例的整体理解。然而,很明显,对于本领域的技术人员来说,可以不使用这些特定细节或者使用等同的部署来实现本发明的实施例。在其他例子中,以方框图的形式示出了已知的结构和设备,以避免对本发明实施例的不必要的混淆。
在本文中,“位置信息”适用于可用于指示设备、用户、对象或者其结合的与已知地理点有关的当前位置、存在或者方位。根据这一点,可以以多种方式确定位置信息,包括但不局限于,已知的全球定位系统(GPS)计算技术,小区电话三角测量、设置在移动设备之上或者在移动设备附近区域中的各种基于位置的传感器的使用、等等。用于检测位置信息的传感器包括,但不局限于,陀螺仪、方向指南或者罗盘检测传感器、倾斜角度传感器、时空检测传感器等等,所有这些都可用于在基于位置的服务的上下文中应定义哪个位置渲染到图形用户界面(GUI)。关于位置信息,也可以感知到用于提供与用户或者移动设备的当前环境有关的上下文关系细节的“上下文信息”。这可包括诸如当前天气情况、一天中的时间、交通情况等等的细节,全部这些都可渲染到与基于位置的服务有关的GUI。
如上所述,可参照“基于位置的服务”计算和/或确定位置信息。基于位置的服务包括用于至少部分根据确定的位置信息,将视觉反馈渲染到设备的图形用户界面(GUI)的任何服务或者应用。示例性的基于位置的服务可支持用于渲染与全球定位系统应用有关的地图、路线、航路点、位置数据等等的视觉描述的应用。作为另一个例子,可调用基于位置的服务以支持增强现实(AR)或者混合现实(MR)应用。在渲染到GUI时,AR允许用户的真实世界的视图由附加的视觉信息覆盖,而MR允许真实和虚拟世界的融合向设备的GUI提供可视化和新环境。在MR中,物理世界用于描述自然和准确的虚拟环境,这在AR中也能使用。因此,MR可以是现实、AR、虚拟现实、或者其组合的混合。
图1是根据一个实施例,能够将图像渲染到设备的图形用户界面以实现基于位置的服务的系统的示意图。注意到,移动设备和计算设备通常严重地依赖于使用渲染到GUI的视觉元素。在AR或者MR应用的情况下尤其如此,在那种情况下,已知的位置信息可用于将真实世界元素的视觉描述渲染到用户的图形用户界面。在特定情况下,这包括使用高分辨率图像来描述与例如建筑物、地标、公共设施的已确定的位置相关联的已知元素。不幸地是,加载这种高分辨率图像所需的时间会很慢,或者充其量是渐进的。考虑到这个,一些应用允许模糊效果,其中,随着加载的进行,模糊的量减少。其他应用使用进度条或者其它图标来向用户提供加载进程的进度的一些认识。无论如何,用户对便利地体验他们期待的与他们的特定应用或者需求有关的视觉表示的能力被延误了。
一旦将图像渲染到与基于位置的服务或者应用有关的GUI,则在加载以表示当前景色、环境或者兴趣位置的图像与用户此刻所看到的不同时,用户体验就会受限。例如,在夜晚时间期间拍得的特定位置的图像不容易被用户识别,如果他们在早晨正位于该位置。作为另一个例子,在冬季的下雪期间捕获的地标图像,在夏季期间的当下/实时观察时可能不可识别。通常,在图像中描述的人、对象或者天气情况与现实不同时,渲染到与基于位置的服务或者相应的位置信息相关联的GUI的图像不容易被用户识别。
为了解决这些问题,图1的系统100介绍了根据位置的对象模型表示将内容渲染到与所述位置的图像表示相关联的图形用户界面的能力。具体地说,取代该位置的表示图像,或者直到该位置的表示图像可以与空间对象模型一起、在空间对象模型之外或者在空间的对象模型之上加载为止,将空间对象模型呈现到GUI。在一个实施例中,对象模型可以是与该位置相关联的真实世界或者物理环境中的物理对象的三维表示。在特定实施例中,物理对象的表示或者模型可以是没有纹理的,以便减少加载和/或渲染时间。在其它例子中,对象模型可以是虚拟现实世界中的相应虚拟对象(例如,以支持AR或者MR应用)。在另一实施例中,该表示可以是从特定位置获得的图像(例如,全景图)的图形信息(例如,对比度、饱和度等等)或者从三维模型提取的二维场景。
在一个实施例中,图1的用户设备101a-101n可向用户呈现GUI。在特定实施例中,对图像的处理和/或渲染可发生在UE101上。在其它实施例中,一些或者全部处理可以发生在一个或多个基于位置的服务平台103上,该基于位置的服务平台103至少部分地根据位置信息提供一个或多个基于位置的服务。在特定实施例中,基于位置的服务是能够至少部分地根据UE101的地理位置提供信息和/或娱乐的服务。基于位置的服务的例子包括:导航、地图服务、本地搜索、远程发现、远程搜索、AR、移动目录服务等。
UE101和基于位置的服务平台103可通过通信网络105进行通信。在特定实施例中,基于位置的服务平台103还可包括位置表示数据107,位置表示数据107可包括与已确定的位置(例如,指定元数据中的坐标的位置信息)相关联的媒体(例如,音频、视频)或者图像数据(例如,全景图像、照片、等等)。另外,位置表示数据107还可以包括地图信息。地图信息可以包括地图、卫星图像、街道和路径信息、兴趣点(POI)信息、与地图相关联的标志信息、与地图相关联的对象和结构、关于人和人的位置的信息、与信息相关联的坐标信息等等,或者是以上各项的结合。例如,POI可以是一个人可能觉得有趣或者有用的特定点位置。POI的例子可包括飞机场、面包房、水坝、地标、饭店、酒店、建筑物、公园、某人的位置或者任何有趣、有用或者以某种方式有意义的任何点。
在特定实施例中,位置表示数据107还可以包括与位置信息相应的3D对象模型。3D模型表示与特定位置相关联的物理对象的近似物或者类似物,即一个地区的街道、建筑物、地标等等。可以以几乎任何角度或者立体系数设置模型,以便在UE101上显示。3D模型可包括一个或多个3D对象模型(例如,建筑物、树木、标志、广告牌、街灯柱、地标、雕像、场所、风景等等的模型)。这些3D对象模型还包括一个或多个其它组件对象模型(例如,可包括四面墙组件模型的建筑物;可包括标志组件模型以及张贴组件模型的标志等等)。通常,对象模型表示给定位置或者与其相关联的具有更少细节的对象。例如,建筑物的典型模型可包括足够生成建筑物的3D轮廓(例如,地平线视图)的元素,但是没有所述建筑物的很多局部的、表面的或者其它外在细节和特征(例如,窗户、砖石元素、颜色、入口通道)。相反地,作为位置表示数据107保存的建筑物的高分别率或者细节的图像将会描述这些细节的特征。注意到,位置表示数据107将包括与给定位置相关联地保存的一个或多个图像的至少一个相应3D模型。
因此,可用于至少部分地根据与UE101、对象或者用户相关的位置信息生成表示的任何图像数据都可以作为位置表示数据107进行存储。注意到,位置表示数据107,尤其是以图像形式的位置表示数据107,可以是基于矢量的,以便使能更有效的与特定应用需求有关的图像加载和适应。使用数学公式来构建基于矢量的图像,该公式根据屏幕的分辨率来将原始图像的精确的点、线、曲线、以及形状或者多边形分解(factor)到GUI。因此,矢量图像可适应变化的分辨率要求,并且因此容易地载入和渲染到GUI。在特定实施例中,可将位置表示数据107拆分成一个或多个数据基,或者在其它实施例中,在不同的UE101之间分配和共享。
用户可使用驻留在UE101上或者可由UE101访问的应用109(例如,增强现实应用、混合现实应用、地图应用、基于位置的服务应用等),以便提供与已确定的位置信息相关联的内容。在这种方式中,用户可通过应用109接入基于位置的服务平台103。因此,例如,该应用可以是地图生成应用,通过这种应用可以接入地图数据、建筑物影像和/或相关的3D模型,以便通过UE101进行描述。与应用109有关地可操作的是数据收集模块111。数据收集模块111还使用UE101的各种更灵敏的设备/模块,以便收集和/或感应与UE101、用户、与其相关联的对象、或其组合有关的位置信息。一旦收集到,数据收集模块可将位置信息中继到呼叫应用109,从而可从基于位置的服务平台103获得与所述位置有关的特定内容。下面将参照图2描述更多关于数据收集模块111的操作。
在特定实施例中,一个或多个GPS卫星113可用于结合数据收集模块111的一个或多个时空或者GPS收发机来确定的UE101的位置。此外,数据收集模块111可包括图像捕获模块,图像捕获模块可包括数字照相机或者用于生成真实世界图像的部件。这些图像可包括一个或多个对象(例如,建筑物、树木、标志、轿车、卡车等等)。此外,这些图像可通过GUI呈现给用户。UE101可确定UE101或者用户的位置、方向或者二者的结合,以便呈现内容和/或添加附加内容。
例如,可向用户呈现包括位置的图像的GUI。这个图像可附着到3D世界模型(例如,通过位置表示数据107的子集)。随后,用户可选择GUI上的一部分或者一点(例如,使用使能触摸的输入)。UE101接收这一输入,并确定3D世界模型上与所选择点相关联的点。这一确定可包括对对象模型和对象模型上的点和/或对象模型的组件的确定。随后,将该点用做内容的参考或者起始位置。此外,准确的点可保存在与对象模型相关联的内容数据结构中。这一内容数据结构可包括:点、与对象模型的联合、内容、内容的创建者、与内容相关联的任何许可等等。
与内容相关联的许可由用户来分配,例如,用户可选择该用户的UE101作为允许接收内容的唯一设备。在这种情况下,该内容可存储在该用户的UE101上和/或作为世界数据107的部分(例如,通过将内容发送到基于位置的服务平台103)。此外,根据密钥、用户名和密码认证,根据其他用户是否是用户的联系列表的一部分等等,可公开这些许可。在这些情况下,UE101可将内容信息和相关联的内容发送到基于位置的服务平台103,以便作为世界数据107的一部分存储,或者存储到与世界数据107相关联的其他数据库。这样,UE101能够至少部分地促成内容和点的关联的存储。在特定实施例中,内容可以是可由用户创建的视频或者音频信息,或者由用户与点和/或对象相关联。内容的例子可包括起始于点处的绘画、图像、3D对象、广告、文本、对其他内容或对象的评论等等。
例如,系统100的通信网络105包括一个或多个网络,诸如:数据网络(未示出)、无线网络(未示出)、电话网络(未示出)、或者以上各项的任意组合。可设想,数据网络可以是任何局域网(LAN)、城域网(MAN)、广域网(WAN)、公用数据网(例如,互联网)、短距离无线网络,或者是任何其他合适的分组交换网络,诸如,商业拥有的、专有的分组交换网络,例如,专有电缆或者光纤网络,等等,以及以上各项的组合。此外,无限网络可以是,例如,蜂窝网络,并可使用各种技术,包括增强型数据速率全球演进(EDGE)、通用分组无线服务(GPRS)、全球移动通信系统(GSM)、互联网协议多媒体子系统(IMS)、全球移动通信系统(UMTS)等等,以及任何其他适合的无线媒体,例如,全球微波互联接入(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(WiFi)、无线LAN(WLAN)、
Figure BDA00002736557000081
互联网协议(IP)数据广播、卫星、移动自组织网络(MANET)等等,或者以上各项的组合。
UE101是任何类型的移动终端、固定终端或者便携式终端,包括移动手持设备、台、单元、设备、多媒体电脑、多媒体输入板、互联网节点、通信器、桌面型计算机、膝上型计算机、笔记本计算机、上网本计算机、平板电脑、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像录像机、定位设备、电视接收机、无线广播接收机、电子书设备、游戏设备或者上述各项的结合,包括这些设备的附属设备和外围设备,或者它们的任意结合。还可设想,UE101可支持任何类型的到用户的接口(诸如,“可佩戴”电路等等)。
例如,UE101和基于位置的服务平台103,使用公知的、新的或者仍在开发的协议相互通信或者与通信网络105的其他组件进行通信。在上下文中,协议包括定义通信网络105中的网络节点怎样根据通信链路上发送的信息进行相互交互的规则集。该协议在每个节点中的不同层的运行中是有效的,从生成和接收各种类型的物理信号,到选择传递这些信号的链路,到这些信号指示的信息格式,到识别在计算机系统上执行的哪个软件应用发送或接收该信息。在开放系统互连(OSI)参考模型中描述协议的用于通过网络交换信息的概念上不同的层。
多个网络节点之间的通信通常由交换数据的离散分组来实现。每个分组通常包括:(1)与特定协议相关联的头信息,以及(2)有效载荷信息,该有效载荷信息在头信息之后并包括可独立于该特定协议处理的信息。在一些协议中,分组包括(3)尾信息,该尾信息在有效载荷信息之后,并指示有效载荷信息的结束。头包括以下信息,诸如:分组的源、其目的地、有效载荷的长度、以及由该协议使用的其他特征。通常,有效载荷中用于特定协议的数据包括与OSI参考模型的不同的、更高的层相关联的不同协议的有效载荷以及头。特定协议的头通常指示在其有效载荷中包括的下一个协议的类型。高层协议封装在底层协议中。包括在遍历诸如互联网的多个异构网络的分组中的头通常包括:物理(层1)头、数据-链路(层2)头、互联网网络(层3)头和传输(层4)头,以及由OSI参考模型定义的各种应用头(层5、层6和层7)。
在一个实施例中,基于位置的服务平台103可根据客户端服务器模型与UE101的应用109交互。根据客户端服务器模型,客户端过程将包括请求的消息发送到服务器过程,并且服务器过程通过提供服务(例如,增强现实图像处理、增强现实图像检索、消息发送、3D地图检索、等等)来响应。服务器过程也可以通过响应向客户端过程返回消息。通常,客户端过程和服务器过程在不同的称为主机的计算机设备上执行,并使用网络通信的一个或多个协议通过网络进行通信。术语“服务器”传统上用于表示提供服务的过程,或者运行该过程的主机计算机。同样地,术语“客户端”通常用于表示提出请求的过程,或者过程在其上进行操作的主机计算机。除非在上下文中明示,此处使用的术语“客户端”和“服务器”表示过程,而不是主机计算机。此外,由于包括可靠性、可测量性和冗余等等的多种原因,由服务器执行的过程可以分解,以作为多个过程在多个主机(有时称为层级)上运行。
图2是根据一个实施例的用户设备的组件的示意图。举例来说,UE101包括用于根据位置的对象模型表示将内容渲染到与所述位置的图像表示相关联的图形用户界面的一个或多个组件。可设想,这些组件的功能可以结合在一个或多个组件中,或者由功能等同的其它组件执行。在这个实施例中,UE101包括数据收集模块111,数据收集模块111可包括一个或多个定位模块201、磁力计模块203、加速计模块205、图像捕获模块207,UE101还可以包括运行时间模块209,以协调UE101的其它组件、用户界面211、通信接口213、图像处理模块215以及存储器217的使用。UE101的应用109(例如,基于位置的服务应用)可以使用UE101的组件在运行时间模块209上执行。
如上文所述,定位模块201可确定用户的位置。用户的位置可通过三角测量系统确定,三角测量系统诸如:GPS、辅助GPS(A-GPS)、原点小区、或者其他位置推断技术。标准GPS和A-GPS系统可使用卫星113以精确定位UE101的位置。原点小区系统可用于确定与蜂窝UE101同步的蜂窝塔。这一信息提供UE101的大略位置,因为蜂窝塔可具有可被地理上测绘的唯一的蜂窝识别符(小区ID)。定位模块201还可使用多种技术来检测UE101的位置。当捕获到媒体时,位置坐标(例如,GPS坐标)能够给出关于UE101的更精细的细节。在一个实施例中,GPS坐标由应用109嵌入到捕获的媒体(例如,图像、视频等等)的元数据中,或者与UE101相关联。此外,在特定实施例中,GPS坐标可包括提供高度的海拔高度。在另一个实施例中,可使用另一类型的高度计来确定海拔高度。在特定实施例中,定位模块201可以是用于确定UE101的位置的部件,图像,或者用于将视野中的对象与位置相关联。
磁力计模块203可用于查找UE101的水平方向。磁力计是能够测量磁场的强度和/或方向的仪器。与指南针使用相同的方法,磁力计能够使用地球的磁场确定UE101的方向。媒体捕获设备(例如,摄像机)的前面可标记为确定方向的参考点。因此,如果与参考点相比磁场指向北,则UE101参照点相对磁场的角度就获知了。可进行简单的计算来确定UE101的方向。在一个实施例中,从磁力计获得的水平方向数据嵌入到捕获的元数据或者流媒体中,或者通过基于位置的服务应用109与UE101相关联(例如,通过将信息包括在到基于位置的服务平台103的请求中)。该请求可用于检索与位置相关联的一个或多个对象和/或图像。
加速计模块205可用于确定UE101的垂直方向。加速计是能够测量加速度的仪器。使用具有X、Y和Z轴的三轴加速计,提供三个方向的具有已知角度的加速度。再次将媒体捕获设备的前面标记成确定方向的参照点。因为基于万有引力的加速度是已知的,所以,当UE101静止时,加速计模块205可确定与地球的万有引力相比UE101指向的角度。在一个实施例中,从加速计获得的垂直方向数据嵌入到捕获的元数据或者流媒体中,或者通过基于位置的服务应用109与UE101相关联。在特定实施例中,磁力计模块203和加速计模块205可以是用于确定用户的视点的模块。此外,与用户的位置相关联的方向可用于将一个或多个图像(例如,全景图像和/或照相机视图图像)绘制成3D环境。
在一个实施例中,通信接口213可用于与基于位置的服务平台103或者其他UE101进行通信。某些通信可通过诸如互联网协议、消发送息(例如,SMS、MMS等等)的方法,或者任何其他通信方法(例如,通过通信网络105)。在一些例子中,UE101可以通过通信接口213向基于位置的服务平台103发送请求。随后,基于位置的服务平台103可通过通信接口213将响应发送回来。在特定实施例中,位置和/或方向信息用于生成到基于位置的服务平台103的对一个或多个对象的一个或多个图像(例如,全景图像)、一个或多个地图位置信息、3D地图等等的请求。
图像捕获模块207可以连接到一个或多个媒体捕获设备。图像捕获模块207可包括能将光学图像转换成数字格式的光学传感器和电路。图像捕获模块207的例子包括照相机、摄像录像机等等。此外,图像捕获模块207可处理来自媒体捕获设备的输入数据。例如,图像捕获模块207可接收与真实世界环境相关的信息的视频馈送(例如,当通过运行时间模块209执行基于位置的服务应用109时)。图像捕获模块207可以从信息和/或图像集(例如,视频)中捕获一个或多个图像。这些图像可由图像处理模块215处理成包括从基于位置的服务平台103检索的内容,或者对于基于位置的服务应用109可用(例如,通过存储器217)。图像处理模块215可通过一个或多个处理器、图形处理器等等实现。在特定实施例中,图像捕获模块207可以是用于确定一个或多个图像的部件。
用户界面211可包括各种通信方法。例如,用户界面211可具有包括视觉组件(例如,屏幕)、音频组件、物理组件(例如,震动)、以及其他通信方法的输出。用户输入可包括触摸屏界面、滚动点击界面、按钮界面、扩音器等等。此外,用户界面211可用于显示来自存储器217和/或通过通信接口213接收的地图、导航信息、照相机图像和流、增强现实应用信息、POI、虚拟现实地图图像、全景图像等等。输入可通过一个或多个方法,诸如:语音输入、文本输入、打字输入、打字触摸屏输入、其它触摸使能的输入等等。在特定实施例中,用户界面211和/或运行时间模块209可以是用于促使在对象模型的一个或多个表面上渲染内容的部件。
此外,用户界面211可附加地用于增加内容、与内容交互、操作内容等等。用户界面可附加地用于从呈现和/或选择标准中过滤内容。此外,用户界面可用于操作对象。用户界面211可用于促使图像的呈现,这些图像诸如:全景图像、AR图像、MR图像、虚拟现实图像或者上述各项的组合。这些图像可附着到虚拟环境模拟或者与真实世界相关联。任何适合的装备(例如,用户设备、增强现实眼镜、放映机等等)都可用做用户界面211。用户界面211可视为用于显示和/或接收输入以传达与应用109相关联的信息的部件。
现在来看图3,图3是根据一个实施例,用于将图像渲染到设备的图形用户界面以实现基于位置的服务的高级处理的示例性流程图。在一个实施例中,应用109执行过程300,并且在例如包括图6中所示的处理器和存储器的芯片组中实施。此外,或者作为另一种选择,过程300的全部或者一部分可由基于位置的服务平台103、UE101的另一组件或者通过通信网络105可用的另一组件来执行。在第一步骤301中,UE101接收将基于位置的服务的用户界面渲染到设备的GUI的请求。这个请求可由有权访问基于位置的服务平台103的应用109(例如,增强现实应用、混合现实应用等等)推进,或者响应于应用109。该请求还可包括与设备(例如,UE101)、设备的用户等等相关联的位置信息。作为举例,位置信息可用做应用109的用户界面所基于的位置。例如,如果应用109是增强现实应用,位置信息可用于使用指定作为位置信息的一部分的位置、方向指向和/或倾角来建立视点。随后,将视点用做渲染相应的用户界面的基础。
注意到,传统上提供类似的基于位置的功能的增强现实应用和其它应用依赖详细的图像和全景来描述特定的位置。然而,这些图像通常可包括大量数据,这些数据将花费长时间在UE101处下载和渲染。例如,这一下载和渲染的时间基于渲染设备的带宽、计算功率、存储器等等,但是通常花费几秒到几十秒或者更多。对这种用于下载和/或渲染的滞后时间的传统解决方案历来包括:(1)在图像被渲染时提供进度条和/或(2)在加载最终的详细图像之前渐进式载入较低质量较轻量图像(例如,在载入更清晰更详细的图片之前首先载入模糊的低分辨率图片)。然而,这些传统的方式并不总能提供良好的用户体验。
因此,在此处描述的方法中以及作为过程300的另一个步骤303,促使应用109至少部分地基于与该位置信息对应的三维模型,在用户界面中呈现第一渲染。这样,用户可通过设备GUI看到与指定的位置信息相关联的3D对象模块。在一个实施例中,基于轻量(例如,根据使用的存储器、处理和/或带宽资源)模型快速执行第一渲染。例如,基于模型的第一渲染可提供详细的高质量高对比图像,与传统的进度条或低质量图像相比,这些图像可能更具有吸引力并且提供更多的信息。
此外,应用109可确定与UE101、设备的用户或者两者的结合相关联的上下文信息。例如,上下文信息可包括:天气、时间、日期、季节、假日、活动等等,或者上述各项的结合。随后,这一上下文信息可用做第一渲染的部分。例如,如果上下文信息指示天气是晴天,并且时间是早晨,则模型的第一渲染也可使用等同于典型的早晨中可用的采光来描述晴天。如果在下雨,也可以在渲染中描述雨。以这种方式,向用户呈现更精确地反应场景的实际条件的用户界面(例如,增强现实用户界面或者地图),从而,用户能够更容易地将用户界面中描述的特征与他们的真实世界相对物相关联。
随后,随着更高质量的图像变得可以呈现(例如,在从诸如基于位置的服务平台103的服务检索它们之后),应用109可发起另一渲染。如步骤305中所示的那样,进一步至少部分地促使应用109至少部分地基于与位置信息相关联的图像数据,在基于位置的服务的用户界面中呈现第二渲染。在一个实施例中,应用109可确定与检索用于第二渲染的图像数据相关联的时间(例如,下载和渲染所需的时间),并随后,至少部分地基于所确定的时间,至少部分地促使用户界面从第一渲染转换到第二渲染。举例来说,该转换可逐渐地发生,通过这一转换,第一渲染的模型由实际的相应影像替换或者覆盖。例如,一旦图像可用,则在用户界面的第一渲染中描述的建筑物的3D模型替换为该图像的实际图像。
在另一实施例中,上下文信息可用于确定第二渲染的使用、不使用或者延迟(例如,基于更高分辨率图像或者有纹理的三维图形)。例如,如果上下文信息与用户界面中的特定建筑物或者位置有关,则应用109可仅渲染该特定建筑物的更高分辨率图像。这样,应用109可通过仅向用户界面中前后关联的这些对象提供更高质量渲染,来有利地降低处理资源、带宽和其它类似的计算或者网络化资源。
在一些实施例中,从第一渲染到第二渲染的转换,可通过从用户接收用于手动选择第一渲染还是第二渲染的输入来确定,并随后根据用户选择来呈现该用户界面。以这种方式,如果用户倾向第一渲染,则用户可指示应用109仅显示第一渲染,或者显示第一渲染更长时段。
在另一实施例中,对第二渲染的图像数据的选择也可基于上下文信息。例如,如果对于给定位置,可使用一个或多个图像(例如,全景)(例如,日景和夜景),则应用109可使用上下文信息,可根据上下文信息选择更有代表性的图像。注意到,可以将免费(complimentary)图像保持为位置表示数据107,以便使这些可选方案能够被供应。在特定实施例中,应用109也可通过图像数据渲染上下文信息的元素。例如,如果天气是下雪,并且没有可用的该位置的雪花图像,则应用检索最接近的匹配图像集,并且在这些图像上渲染雪(例如,使用3D渲染)。在这种模式中,各种前后关系的细微差别仍将被适当地渲染到关于给定位置的用户界面。
在另一个实施例中,当位置信息变化时(例如,当UE101移动到不同位置),这样,用户界面需要渲染新的影像,应用109可(例如,通过位置传感器)确定或者检测位置信息的改变。随后,这一改变可促使应用109确定该变化导致从一组图像数据到另一组图像数据的转换(例如,以便描述另一位置)。随后,在该改变期间,应用109可从基于图像的渲染转变为基于模型的渲染,并且,之后,一旦检索到相应的新图像数据,则转变回新位置的基于图像的渲染。
在一个例子中,基于与UE101的起始位置或者当前位置相应的三维模型、全景图像数据等等的位置信息,促使应用109或者UE101呈现图形用户界面的第一渲染。在设备最后呈现与起始渲染类似的目的地渲染(例如,高分辨率图像或者有纹理的3D渲染)之前促使渲染位置变化,这将导致部分地基于与中间位置相关联的模型和可能的图像数据的一个或多个过渡渲染。过渡渲染提供舒适的过渡,其也允许设备有时间获取和处理与最终渲染相关联的大量的数据。
图4A-4E是根据各个实施例,在图3的过程中使用的用户界面的示意图。图4A和4B是描述低分辨率(或者无纹理的)3D对象模型怎样在增强现实(AR)或者混合现实(MR)应用的情况下,与高分辨率图像相关联使用的示例界面。图4C-4D是描述怎样使用与位置信息相关联的低分辨率3D对象模型管理(时间和/或位置的)转换的示例性界面。在下面的描述中,以示例性用例的角度来描述各图。
在第一种用例中,设备的用户正与伙伴去往一个会议,他的办公室位于美国市区中的Legacy公司大楼的第14层。使用用户设备,用户调用AR应用,以便使实时聊天能够通过设备界面401与基于位置的服务同时使用。AR应用也促进数字时钟403在用户界面的实现。与AR应用相结合操作,在这种情况下基于位置的服务包括用于渲染表示用户的实时位置和/或环境的元素、对象等等(407和409)的可视描述的服务。此外,基于位置的服务生成位置信息窗口,用于向用户指示关于他们的当前行踪和/或图形用户界面中描述的对象的细节(例如,建筑物名)。因此,基于位置的服务使得由用户的移动设备检测到的位置信息能接入,并且,随后促进表示用户在美国市区中的特定行踪的影像的渲染。AR应用促进与数字时钟403相关联的影像和与基于位置的影像(例如,建筑物)有关的聊天应用的覆盖或者混合使用。
在由数字时钟403表示的2:15PM时,用户在他们预期的目的地附近区域,由基于位置的服务和/或应用标记为建筑物1的Legacy公司大楼409。作为访问基于位置的服务平台获得的结果,建筑物1描述为建筑物的全分辨率3D图像409呈现。因此,该图像数据被载入到表示建筑物的对象模型,以规划或者渲染Legacy公司大楼409的全分辨率版本或者呈现。然而,在第一建筑物1之外,基于位置的服务和/或应用将第二建筑物标记为建筑物2,即PFS公司大楼。根据确定的位置信息(例如,方向、加速度、指向、方位角),这个建筑物也在用户的视野之内,因此渲染给用户。然而,不同于描述Legacy公司大楼的全分辨率3D图像409,PFS公司大楼仅为建筑物的低分辨率对象模型呈现。这个例子中的建筑物描述为全黑的,无特色的3D表示。这样,取代或者直到建筑物的必要的高分辨率图像数据能够充分地载入到用户界面为止,用户能够看到建筑物的基本表示。
在图4B中,当用户接近他们的目的地时,数字时钟403更新为表示当前时间2:16PM。一分钟过后,现在已从位置表示数据库107接入PFS大楼的图像数据,并将数据载入用户界面401,现在,每个建筑物407和409都以全3D分辨率示出。因此,根据相应位置或者其元素的3D模型,首先将低分辨率图像渲染到用户界面。在所述位置或者元素的必要的高分辨率图像加载之后,将高分辨率影像(表示建筑物的第二图像)渲染到用户界面。注意到在这个例子中,第二图像的渲染可能是在与第一渲染不同的时间进行的,从而保证用户界面体验仍然被合适地表示,而不需要等待全部影像的载入。进一步注意到,根据应用的需要,第二图像的渲染的发生可以是在3D模型上覆盖,其中矢量图像被相应地绘制到模型,以使模型的各个维度内具有足够的分辨率。也可以应用基于位置信息渲染图像的替代方法。
此外,当图像渲染发生时,用户能够通过由AR应用推进的聊天应用405参与与聊天伙伴的聊天会话。尽管未示出,但是用户也可以在回复聊天伙伴时运行其它服务(例如,获得方向、发送文本消息或者电子邮件、传输文档等等)。特别注意到,不考虑设备为了渲染交互用户界面401而载入高分辨率影像的需要,促进这一功能性能和用户体验。实质上,参照图3以及在上述用例中描述的过程提供了怎样使用低分辨率图像与高分辨率影像结合或者使用低分辨率图像替代高分辨率影像来使用户能够同时执行应用而没有因为缺少合适的用户界面而引起的延迟。
现在参照图4C,图4C中示出了具有在关于图4B加载的图像或者影像之上的实况视频或者图像捕获元素的混合的用户界面401。在这个例子中,在数字时钟403指示的2:18PM,移动设备用户碰到预计会在相同位置(例如,Legacy公司大楼)处的另一伙伴。在用户等着穿过街道时,该用户决定捕获当前风景的实况视频图像施加在与用户的当前位置相关联的建筑物(建筑物1和2)的全分辨率影像上。这一实况捕获包括:该伙伴421的录像以及路过的汽车423。因此,也可以与上述用于AR应用的方式同样的方式适当地支持混合现实应用。尽管未示出,但是,即使在通过使用3D对象模型表示进行高分辨率图像接入和载入过程时,录像仍然能够呈现到用户界面401。可通过高分辨率图像的载入的完成来触发全分辨率图像的载入;而用户通过界面的操作仍然能够被执行,且不会被中断或者等待。
在图4D和4E中,假设用户以轻快的步伐从建筑物群中离开。在这个例子中,诸如网络有效性、数据接入和有效性、图像尺寸、设备运行时间和运行资源、以及最终的载入时间等的因素都对渲染到用户界面的数据的质量产生影响。如果用户也以相对轻快的速度移动-即他们在汽车中行驶-则基于位置的服务必须能够持久地将表示用户位置的图像更新到用户界面。想到这个,处理这种转换的合适手段包括,在转换过程期间,再次使用低分辨率、无特色的对象模型来描述建筑物。这样,图4D中示出了在渲染到界面401的第一时刻处建筑物441的表示的第一事例。该表示再次基于确定的用户、设备或者二者的结合的位置信息。
在第二时刻渲染到界面401的建筑物441a的第二个事例也描述为低分辨率3D对象表示。给定位置信息,第二建筑物443也渲染到用户界面401。因此,在这个例子中,假设向用户界面401的第一和第二渲染事例之间消逝的时间相对短,并且无疑短于载入建筑物的高分辨率图像所需的时间段。因此,可以预期到,表现确定的位置或者与确定的位置相关联的对象和/或元素的对象模型表示可用来代替全分辨率图像。不需要调用建筑物的高分辨率图像的必要的加载,即,基于上述的一些考虑(例如,网络因素、用户加速度),这可以制定为用户或者系统偏好。
作为另一种选择,在载入图像时,可使用与确定的位置相关联的对象和/或表示对象的元素的对象模型表示。在加载时,图像被载入以满足对象模型表示的当前尺寸,诸如,以矢量成像的方式。这种方式,用户仍然能够体验到基于位置的服务,而不需要对由于不充分的转换、缓慢的图像载入等导致的视觉体验进行折中。另外,通过使用低分辨率对象模型,设备通常可描述任何位置(建筑物、风景、地标等等),同时仍说明当前天气、交通或者其它情况。这种实时情况可通过使用诸如图4D和4E中所示的雪花和云朵影像451的模型、图标或者图形描述来呈现到用户界面401。通过信任使得该性能成为可能,例如,根据关于天气、一天中的时间等的上下文信息。如果需要,在没有可用的最匹配图像时,系统还可在全景图片上渲染雪花,以便使呈现在UI上的场景与实际情况更匹配。
最后,本文中描述的系统使用户设备能够使用模型快速地渲染场景,同时在后台等待下载全景图像完成。随后,一旦下载完成,使用模型的渲染可转换为显示真实世界图像。这样,用户不需要在看到图片之前等待所有事物下载完毕,或者在下载完更高质量版本前观看较低质量图片。
此处描述的用于将图像渲染到设备的图形用户界面上以实现基于位置的服务的过程可以通过软件、硬件、固件或者软件和/或固件和/或硬件的结合来有利地实现。例如,此处描述的过程,包括用于向用户界面提供与服务的有效性相关联的导航信息的过程,可以有利地通过处理器、数字信号处理(DSP)芯片、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等等来实现。下文中会详细描述执行所述功能的这种示例性硬件。
图5示出了可在其上实现本发明的实施例的计算机系统500。尽管参照特定设备或者仪器描述了计算机系统500,但是可以理解,图5中的其它设备或仪器(例如,网络元素、服务器等等)可部属系统500所示的硬件和组件。(例如,通过计算机程序代码或者指令)计算机系统500可编程为将图像渲染到设备的图形用户界面,以实现本文所述的基于位置的服务,并且计算机系统500包括诸如总线510的通信机构,用于在计算机系统500的其他内部和外部组件之间传递信息。将信息(也称为数据)表示为可测量现象的物理表示,通常为电压,但是在其他实施例中,也包括诸如磁的、电磁的、压力、化学的、生物的、分子的、原子的、次原子的和量子交互作用的现象。例如,南北磁场,或者零和非零电压,都可表示二进制数字(比特)的两个状态。其它现象可表示更高基数的数字。在测量之前多个同时存在的量子态的重叠表示量子比特(量子位)。一个或多个数字的序列组成数字数据,用于表示一个特征的号码或者代码。在一些实施例中,称为模拟数据的信息由特定范围内的可测量数值的近连续集表示。计算机系统500或者其一部分构成一种部件,用于执行将图像渲染到设备的图形用户界面以便实现基于位置的服务的一个或多个步骤。
总线510包括信息的一个或多个平行导体,从而信息在耦合到总线510的多个设备之间快速传输。用于处理信息的一个或多个处理器502耦合到总线510。
处理器(或者多个处理器)502按照关于将图像渲染到设备的图形用户界面以便实现基于位置的服务的计算机程序代码所指定的那样对信息执行操作集合。计算机程序代码是为处理器和/或计算机系统的操作提供了用于实施指定功能的指令的一组指令或声明。例如可以用被编译成处理器的原生指令集的计算机编程语言来编写代码。也可以直接使用原生指令集(例如,机器语言)来编写代码。操作集合包括从总线510带入信息并且将信息置于总线510上。操作集合通常还包括诸如通过加法或乘法或者比如“或(OR)”、“异或(XOR)”和“与(AND)”这样的逻辑运算来:比较两个或更多信息单元,将信息单元的位置进行移位,以及组合两个或更多信息单元。可以由处理器执行的操作集合中的每个操作由称为指令的信息而被表示给处理器,诸如一个或多个数位的操作代码。要由处理器502执行的操作序列(诸如操作代码序列)构成了处理器指令,也称为计算机系统指令或简单地称为计算机指令。处理器可以单独地或组合地被实现为机械、电、磁、光、化学或量子组件等。
计算机系统500还包括耦合到总线510的存储器504。诸如随机存取存储器(RAM)或其它动态存储设备的存储器504存储信息,包括用于将图像渲染到设备的图形用户界面以实现基于位置的服务的处理器指令。动态存储器允许计算机系统500改变存储在其中的信息。RAM允许独立于在相邻地址处的信息来存储和检索被存储在称为存储器地址的位置处的信息单元。存储器504还被处理器502用于存储在处理器指令的执行期间的临时值。计算机系统500还包括只读存储器(ROM)506或者耦合到总线510的其它静态存储设备,用于存储不被计算机系统500改变的静态信息(包括指令)。特定存储器包括易失性储存器,当断电时,易失性储存器会丢失在其上存储的信息。也耦合到总线510的是非易失性(永久)存储设备508,诸如磁盘、光盘或闪卡,用于存储包括指令的信息,非易失性存储设备508即使当计算机系统500关闭或以其它方式断电时也进行存留。
从外部输入设备512(诸如含有由人类用户操作的字母数字键的键盘)或传感器将信息(包括用于将图像渲染到设备的图形用户界面以实现基于位置的服务的指令)提供给总线510来由处理器使用。传感器检测其附近的状况,并且将那些检测结果变换成与用于表示计算机系统500中的信息的可测量现象相兼容的物理表达。耦合到总线510的主要用于与人类进行交互的其它外部设备包括显示设备514,诸如阴极射线管(CRT)或液晶显示器(LCD),或者用于呈现文本或图像的等离子屏幕或打印机,以及定点设备516,诸如鼠标或轨迹球或光标方向键,或者运动传感器,用于控制在显示器514上呈现的小型光标图像的位置以及发布与显示器514上所呈现的图形元素相关联的命令。在一些实施例中,例如,在计算机系统500在没有人类输入的情况下自动地实现所有功能的实施例中,省略外部输入设备512、显示设备514和定点设备516中的一个或多个。
在所图示的实施例中,诸如专用集成电路(ASIC)520的专用硬件耦合到总线510。专用硬件被配置以便出于专用目的而足够快地执行处理器502不执行的操作。专用IC的例子包括:用于为显示器514生成图像的图形加速器卡、用于加密和解密在网络上发送的消息的密码板、语音识别以及针对专门的外部设备的接口,诸如重复地执行在硬件中更为高效实现的一些复杂操作序列的机器臂和医疗扫描设备。
计算机系统500还包括耦合到总线510的通信接口570的一个或多个实例。通信接口570提供了耦合到与其自己的处理器一起操作的各种外部设备(诸如打印机、扫描仪和外部盘)的单向或双向通信。通常,耦合是针对网络链路578,网络链路578连接到本地网络580,具有其自己的处理器的各种外部设备连接到本地网络580。例如,通信接口570可以是个人计算机上的并行端口或串行端口或通用串行总线(USB)端口。在一些实施例中,通信接口570是综合服务数字网络(ISDN)卡或数字订户线路(DSL)卡或者向对应类型的电话线路提供信息通信连接的电话调制解调器。在一些实施例中,通信接口570是将总线510上的信号转换成用于在同轴电缆上的通信连接的信号或转换成用于在光纤电缆上的通信连接的光信号的电缆调制解调器。又例如,通信接口570可以是用于向兼容的LAN(诸如以太网)提供数据通信连接的局域网(LAN)卡。也可以实现无线链路。对于无线链路,通信接口570发送或接收或者既发送又接收携带了信息流(诸如数字数据)的电、声或电磁信号,包括红外信号和光信号。例如,在无线手持设备(诸如像蜂窝电话这样的移动电话)中,通信接口570包括被称为无线电收发器的无线电频带电磁发射机和接收机。在特定实施例中,通信接口570实现了与通信网络105的连接,用于将图像渲染到设备的图形用户界面以向UE101实现基于位置的服务。
术语“计算机可读介质”在此用于指的是参与向处理器502提供信息(包括用于执行的指令)的任何介质。这样的介质可以采用很多形式,包括但不限于计算机可读存储介质(例如,非易失性介质、易失性介质)和传输介质。诸如非易失性介质的非暂态介质包括例如光盘或磁盘,诸如存储设备508。易失性介质包括例如动态存储器504。传输介质包括例如同轴电缆、铜导线、光纤电缆以及在没有导线或电缆的情况下通过空间行进的载波,诸如声波和电磁波,包括无线电波、光波和红外波。信号包括通过传输介质传送的在幅度、频率、相位、极化或其它物理属性方面的人为瞬时变化。计算机可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带、任何其它磁介质、CD-ROM、CDRW、DVD、任何其它光介质、穿孔卡、纸带、光标记片材、具有孔图案或其它光可识别标记的任何其它物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或卡式盒、载波,或者计算机可以从其进行读取的任何其它介质。在此使用术语“计算机可读存储介质”来指代除了传输介质之外的任何计算机可读介质。
在一个或多个有形介质中编码的逻辑包括以下中的一个或两个:在计算机可读存储介质上的处理器指令以及专用硬件,诸如ASIC520。
网络链路578通常使用传输介质来通过一个或多个网络向使用或处理信息的其它设备提供信息通信。例如,网络链路578可以通过本地网络580提供针对主机计算机582或针对由因特网服务提供商(ISP)操作的设备584的连接。ISP设备584进而通过现在常被称为因特网590的网络的公共全球分组交换通信网络来提供数据通信服务。
被称为服务器主机592的连接到因特网的计算机托管了响应于在因特网上接收到的信息而提供服务的进程。例如,服务器主机592托管了提供表示出用于在显示器514处呈现的视频数据的信息的进程。可以设想,可以在其它计算机系统(例如主机582和服务器592)内按照各种配置来部署系统500的组件。
本发明的至少一些实施例涉及对用于实现在此描述的一些或所有技术的计算机系统500的使用。根据本发明的一个实施例,响应于处理器502执行包含在存储器504中的一个或多个处理器指令的一个或多个序列,由计算机系统500来实现那些技术。这样的指令(也称为计算机指令、软件和程序代码)可以从诸如存储设备508或网络链路578的另一计算机可读介质读入到存储器504中。包含在存储器504中的指令序列的执行使得处理器502实现在此描述的方法步骤中的一个或多个。在替代实施例中,诸如ASIC520的硬件可以代替软件或与软件相组合地用来实现本发明。因此,本发明的实施例不限于硬件和软件的任何具体组合,除非在此另外明确声明。
通过通信接口570在网络链路578和其它网络上传送的信号携带了去往和来自计算机系统500的信息。计算机系统500可以通过网络580、590等经由网络链路578和通信接口570来发送和接收信息,包括程序代码。在使用因特网590的例子中,服务器主机592通过因特网590、ISP设备584、本地网络580和通信接口570来传送由从计算机500发送的消息所请求的用于特定应用的程序代码。所接收到的代码可以当其被接收到时由处理器502来执行,或者可以被存储在存储器504中或存储设备508或其它非易失性存储器中以用于以后执行,或者二者皆可。以这种方式,计算机系统500可以按照载波上的信号的形式来获得应用程序代码。
各种形式的计算机可读介质可以涉及将数据或指令的一个或多个序列或这二者携带到处理器502来执行。例如,指令和数据可以初始地被携带在诸如主机582的远程计算机的磁盘上。远程计算机将指令和数据加载到其动态存储器中,并且使用调制解调器在电话线路上发送指令和数据。计算机系统500本地的调制解调器在电话线路上接收指令和数据,并且使用红外发射机来将指令和数据转换成在充当网络链路578的红外载波上的信号。充当通信接口570的红外检测器接收在红外信号中携带的指令和数据,并且将表示指令和数据的信息置于总线510上。总线510将该信息携带到存储器504,处理器502从存储器504中检索该信息,并且使用与指令一起发送的一些数据来执行该指令。在存储器504中接收到的指令和数据可以视情况在由处理器502执行之前或之后被存储在存储设备508上。
图6图示了可以在其上实现本发明实施例的芯片集或芯片600。芯片集600被编程以便如在此描述的用于将图像渲染到设备的图形用户界面以实现基于位置的服务,并且包括例如相对于图5描述的合并在一个或多个物理封装(例如,芯片)中的处理器和存储器组件。举例来说,物理封装包括在结构配件(例如,基板)上的一个或多个材料、组件和/或导线的布置,以便提供一个或多个特性,诸如物理强度、大小的保持和/或电子交互的限制。可以设想,在特定实施例中,芯片集600可以在单个芯片中实现。可以进一步设想,在特定实施例中,芯片集或芯片600可以实现为单个“片上系统”。可以进一步设想,在特定实施例中,例如可以使用单独的ASIC,并且可以通过处理器实现此处描述的所有相关功能。芯片集或芯片600或其一部分构成了用于执行提供对与服务的有效性关联的用户界面导航信息的一个或多个步骤的部件。芯片集或芯片600或其一部分构成了用于将图像渲染到设备的图形用户界面以实现基于位置的服务的一个或多个步骤的部件。
在一个实施例中,芯片集或芯片600包括诸如用于在芯片集600的组件当中传递信息的总线601的通信机制。处理器603具有到总线601的连接,以便执行指令和处理在例如存储器605中存储的信息。处理器603可以包括一个或多个处理核心,每个核心被配置成独立地执行。多核处理器使得能够在单个物理封装中进行多处理。多核处理器的例子包括两个、四个、八个或更多数目的处理核心。替代地或附加地,处理器603可以包括经由总线601而联合配置的一个或多个微处理器,以便使得能够独立执行指令、流水线操作和多线程。处理器603还可以附配有一个或多个专用组件来执行特定处理功能和任务,诸如一个或多个数字信号处理器(DSP)607或者一个或多个专用集成电路(ASIC)609。DSP607通常被配置成独立于处理器603而实时地处理真实世界的信号(例如,声音)。类似地,ASIC609可以被配置成实现通用处理器不容易实现的专用功能。有助于实现在此描述的本发明功能的其它专用组件包括:一个或多个现场可编程门阵列(FPGA)(未示出)、一个或多个控制器(未示出),或者一个或多个其它专用计算机芯片。
在一个实施例中,芯片集或芯片600只包括一个或多个处理器和支持和/或涉及和/或用于一个或多个处理器的一些软件和/或固件。
处理器603和所附组件具有经由总线601与存储器605的连接。存储器605包括动态存储器(例如,RAM、磁盘、可写光盘等)和静态存储器(例如,ROM、CD-ROM等)这二者,用于存储可执行指令,当执行所述可执行指令时实现在此描述的用于将图像渲染到设备的图形用户界面以实现基于位置的服务的本发明步骤。存储器605还存储了与本发明步骤的执行相关联的或通过本发明步骤的执行而生成的数据。
图7是根据一个实施例的能够在图1的系统中操作的用于通信的移动终端(例如,手机)的示例性组件的示图。在一些实施例中,移动终端700或其一部分构成了用于将图像渲染到设备的图形用户界面以实现基于位置的服务的一个或多个步骤的部件。通常,常常关于前端和后端特性来定义无线电接收机。接收机的前端包括所有的射频(RF)电路,而后端包括所有的基带处理电路。如在本申请中使用的,术语“电路”指的是以下两者:(1)仅硬件实现(诸如仅在模拟和/或数字电路中的实现),以及(2)电路和软件(和/或固件)的组合(诸如,如果可应用于特定情境的话,涉及处理器(包括数字信号处理器)、软件和存储器的组合,它们一起工作以便使得诸如移动电话或服务器这样的装置来实现各种功能)。“电路”的该定义适用于本申请中(包括任何权利要求中)对该术语的所有使用。作为进一步的例子,如在本申请中使用的,如果可应用于特定情境的话,术语“电路”还将覆盖仅一个处理器(或多个处理器)及其(或它们)附配的软件和/或固件的实现。术语“电路”还将覆盖(如果可应用于特定情境的话)例如在移动电话中的基带集成电路或应用处理器集成电路,或者在蜂窝网络设备或其它网络设备中的类似集成电路。
电话的相关内部组件包括主控制单元(MCU)703、数字信号处理器(DSP)905,以及接收机/发射机单元(包括扩音器增益控制单元和扬声器增益控制单元)。主显示单元707向用户提供显示器,从而支持用于执行或支持用于将图像渲染到设备的图形用户界面以实现基于位置的服务的步骤的各种应用和移动终端功能。显示器707包括显示电路,该显示电路被配置成显示移动终端(例如,移动电话)的用户界面的至少一部分。另外,显示器707和显示电路被配置成促进用户对移动终端的至少一些功能的控制。音频功能电路709包括扩音器711和扩音器放大器,扩音器放大器放大了从扩音器711输出的语音信号。从扩音器711输出的已放大的语音信号被馈送到编码器/解码器(编解码器)713。
无线电部分715放大功率并转换频率,以便经由天线717来与包括在移动通信系统中的基站通信。如本领域中已知的,利用来自耦合到双工器721或循环器或天线开关的PA719的输出,功率放大器(PA)719和发射机/调制电路可操作地响应于MCU703。PA719还耦合到电池接口和功率控制单元720。
在使用中,移动终端701的用户向扩音器711讲话,并且他或她的语音连同任何检测到的背景噪声被转换成模拟电压。然后,该模拟电压通过模数转换器(ADC)723被转换成数字信号。控制单元703将数字信号路由到DSP705用于在其中进行处理,诸如语音编码、信道编码、加密和交织。在一个实施例中,使用蜂窝传输协议(诸如全球演进(EDGE)、通用分组无线电服务(GPRS)、全球移动通信系统(GSM)、因特网协议多媒体子系统(IMS)、通用移动电信网络(UMTS)等)以及任何其它合适的无线介质(例如微波接入(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(WiFi)、卫星等),通过未单独示出的单元来编码经处理的语音信号。
然后,编码信号被路由到均衡器725,用于补偿在通过空气传输期间发生的诸如相位和幅度失真这样的任何依赖于频率的损伤。在均衡了比特流之后,调制器727将该信号与在RF接口729中生成的RF信号进行组合。调制器727通过频率或相位调制来生成正弦波。为了准备用于传输的信号,上变频器731将从调制器727输出的正弦波与由合成器733生成的另一正弦波进行组合,以便实现期望的传输频率。然后,信号被发送通过PA719以便将信号增加到适合的功率电平。在实际系统中,PA719充当可变增益放大器,其增益根据从网络基站接收到的信息而受到DSP705的控制。然后,该信号在双工器721中被过滤并且可选地被发送到天线耦合器735以便匹配阻抗,从而提供最大功率传输。最后,该信号经由天线717被传送到本地基站。自动增益控制(AGC)可以被供应来控制接收机的最后阶段的增益。该信号可以从那里被转发到远程电话,远程电话可以是另一蜂窝电话、其它移动电话或者连接到公共交换电话网络(PSTN)或其它电话网络的陆线。
经由天线717来接收被传送到移动终端701的语音信号,并且由低噪声放大器(LNA)737立即放大。下变频器739降低载波频率,而解调器741去掉RF仅留下数字比特流。然后,该信号经过均衡器725并由DSP705进行处理。数模转换器(DAC)723转换该信号并将所得到的输出通过扬声器745传送到用户,所有的这些都在主控制单元(MCU)703(其可被实现为中央处理单元(CPU)(未示出))的控制之下。
MCU703从键盘747接收包括输入信号的各种信号。与其它用户输入组件(例如,扩音器711)相组合的键盘747和/或MCU703包括用于管理用户输入的用户接口电路。MCU703运行用户接口软件以便促进用户控制移动终端701的至少一些功能,从而将图像渲染到设备的图形用户界面以实现基于位置的服务。MCU703还向显示器707和语音输出切换控制器分别递送显示命令和切换命令。此外,MCU703与DSP705交换信息,并且可以访问可选地被合并的SIM卡749和存储器751。另外,MCU703执行终端所需要的各种控制功能。DSP705可以根据实现方式来对语音信号执行各种常规数字处理功能中的任何功能。另外,DSP705根据由扩音器711所检测到的信号来确定本地环境的背景噪声电平,并且将扩音器711的增益设置成被选择用于补偿移动终端701的用户的自然倾向的电平。
编解码器713包括ADC723和DAC743。存储器751存储了包括呼入音调数据的各种数据,并且能够存储包括经由例如全球因特网而接收到的音乐数据在内的其它数据。软件模块可以驻留在RAM存储器、闪速存储器、寄存器或本领域已知的任何其它形式的可写存储介质中。存储设备751可以是但不限于单个存储器、CD、DVD、ROM、RAM、EEPROM、光储存器或者能够存储数字数据的任何其它非易失性存储介质。
可选地被合并的SIM卡749携带了例如重要信息,诸如蜂窝电话号码、供应服务的载波、预订细节和安全信息。SIM卡749主要服务于标识出无线电网络上的移动终端701。卡749还含有用于存储个人电话号码登记簿、文本消息和特定于用户的移动终端设置的存储器。
尽管已经结合多个实施例和实现方式描述了本发明,但是本发明并不如此受到限制,而是覆盖了落入所附权利要求的范围之内的各种明显的修改和等同布置。尽管在权利要求当中的特定组合中表达了本发明的特征,但是可以设想这些特征可以按照任何组合和顺序来布置。

Claims (20)

1.一种方法,包括:
在设备处接收向用户界面渲染基于位置的服务的请求,所述请求包括位置信息;
至少部分地基于与所述位置信息相对应的三维模型,至少部分地促使在所述用户界面中呈现第一渲染;以及
至少部分地基于与所述位置信息相关联的图像数据,至少部分地促使在所述用户界面中呈现第二渲染。
2.如权利要求1所述的方法,进一步包括:
确定与检索所述图像数据相关联的时间;
至少部分地基于所确定的时间,至少部分地促使所述用户界面从所述第一渲染向所述第二渲染转换。
3.如权利要求1所述的方法,进一步包括:
确定与所述设备、所述设备的用户、或者其组合相关联的上下文信息。
4.如权利要求3所述的方法,进一步包括:
至少部分地促使所述上下文信息在所述第一渲染、所述第二渲染或者所述第一渲染和所述第二渲染两者中进行渲染。
5.如权利要求3所述的方法,进一步包括:
至少部分地基于所述上下文信息,确定是否在所述用户界面中呈现所述第一渲染或所述第二渲染。
6.如权利要求3所述的方法,进一步包括:
至少部分地基于所述上下文信息,选择用于所述第二渲染的图像数据。
7.如权利要求3所述的方法,其中,所述上下文信息包括:天气、时间、日期、季节、节日、活动或者其组合。
8.如权利要求1所述的方法,进一步包括:
接收用于选择所述第一渲染或所述第二渲染的输入;以及
至少部分地基于所述输入,至少部分地促使渲染所述用户界面。
9.如权利要求1所述的方法,进一步包括:
确定所述位置信息中的变化,所述变化促使从所述图像数据到用于所述第二渲染的另一组图像数据的转换;
在所述用户界面中呈现所述第一渲染,直到至少部分地基于所述另一组图像数据的所述第二渲染完成为止。
10.一种装置,包括:
至少一个处理器;以及
至少一个存储器,所述至少一个存储器包括用于一个或多个程序的计算机程序代码,
所述至少一个存储器和所述计算机程序代码配置成使用所述至少一个处理器,使得所述装置至少执行以下步骤,
在设备处接收向用户界面渲染基于位置的服务的请求,所述请求包括位置信息;
至少部分地基于与所述位置信息对应的三维模型,至少部分地促使在所述用户界面中呈现第一渲染;以及
至少部分地基于与所述位置信息关联的图像数据,至少部分地促使在所述用户界面中呈现第二渲染。
11.如权利要求10所述的装置,其中进一步促使所述装置:
确定与检索所述图像数据相关联的时间;
至少部分地基于所确定的时间,至少部分地促使所述用户界面从所述第一渲染向所述第二渲染转换。
12.如权利要求10所述的装置,其中进一步促使所述装置:
确定与所述设备、所述设备的用户、或者其组合相关联的上下文信息。
13.如权利要求12所述的装置,其中进一步促使所述装置:
至少部分地促使所述上下文信息在所述第一渲染、所述第二渲染或者所述第一渲染和所述第二渲染两者中进行渲染。
14.如权利要求12所述的装置,其中进一步促使所述装置:
至少部分地基于所述上下文信息确定是否在所述用户界面中呈现所述第一渲染或所述第二渲染。
15.如权利要求12所述的装置,其中进一步促使所述装置:
至少部分地基于所述上下文信息,选择用于所述第二渲染的图像数据。
16.一种承载一个或多个指令的一个或多个序列的计算机可读存储介质,当由一个或多个处理器执行时,所述一个或多个指令的一个或多个序列使得装置至少执行以下步骤:
在设备处接收向用户界面渲染基于位置的服务的请求,所述请求包括位置信息;
至少部分地基于与所述位置信息对应的三维模型,至少部分地促使在所述用户界面中呈现第一渲染;以及
至少部分地基于与所述位置信息关联的图像数据,至少部分地促使在所述用户界面中呈现第二渲染。
17.如权利要求1的计算机可读存储介质,其中使得所述装置进一步执行:
确定与检索所述图像数据相关联的时间;
至少部分地基于所确定的时间,至少部分地促使所述用户界面从所述第一渲染向所述第二渲染转换。
18.如权利要求1的计算机可读存储介质,其中使得所述装置进一步执行:
确定与所述设备、所述设备的用户、或者其组合相关联的上下文信息。
19.如权利要求18的计算机可读存储介质,其中使得所述装置进一步执行:
至少部分地促使所述上下文信息在所述第一渲染、所述第二渲染或者所述第一渲染和所述第二渲染两者中进行渲染。
20.如权利要求18的计算机可读存储介质,其中促使所述装置进一步执行:
至少部分地基于所述上下文信息确定是否在所述用户界面中呈现所述第一渲染或所述第二渲染。
CN2011800348052A 2010-05-16 2011-02-10 用于渲染基于位置的用户界面的方法和装置 Pending CN103003847A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/780,913 2010-05-16
US12/780,913 US20110279453A1 (en) 2010-05-16 2010-05-16 Method and apparatus for rendering a location-based user interface
PCT/FI2011/050126 WO2011144800A1 (en) 2010-05-16 2011-02-10 Method and apparatus for rendering a location-based user interface

Publications (1)

Publication Number Publication Date
CN103003847A true CN103003847A (zh) 2013-03-27

Family

ID=44911384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800348052A Pending CN103003847A (zh) 2010-05-16 2011-02-10 用于渲染基于位置的用户界面的方法和装置

Country Status (6)

Country Link
US (2) US20110279453A1 (zh)
EP (1) EP2572337A4 (zh)
CN (1) CN103003847A (zh)
CA (1) CA2799444C (zh)
WO (1) WO2011144800A1 (zh)
ZA (1) ZA201209416B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9639857B2 (en) 2011-09-30 2017-05-02 Nokia Technologies Oy Method and apparatus for associating commenting information with one or more objects
CN106648841A (zh) * 2016-12-12 2017-05-10 中国航空工业集团公司西安航空计算技术研究所 一种图形上下文管理方法
CN107168619A (zh) * 2017-03-29 2017-09-15 腾讯科技(深圳)有限公司 用户生成内容处理方法和装置
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN108391445A (zh) * 2016-12-24 2018-08-10 华为技术有限公司 一种虚拟现实显示方法及终端
CN109643469A (zh) * 2016-09-30 2019-04-16 英特尔公司 增强现实渲染的结构化内容
CN109792488A (zh) * 2016-10-10 2019-05-21 高通股份有限公司 用以辅助三维扫描对象的用户界面
TWI675351B (zh) * 2016-10-26 2019-10-21 香港商阿里巴巴集團服務有限公司 基於擴增實境的使用者位置定位方法及裝置
CN111400621A (zh) * 2020-04-06 2020-07-10 中信银行股份有限公司 位置信息真实性校验方法、装置及电子设备
CN111862344A (zh) * 2020-07-17 2020-10-30 北京字节跳动网络技术有限公司 图像处理方法、设备和存储介质
CN111971714A (zh) * 2018-09-12 2020-11-20 谷歌有限责任公司 增强现实环境中的加载指示器
CN113569177A (zh) * 2021-07-16 2021-10-29 上海淇玥信息技术有限公司 一种跳转网页优化的方法、装置及电子设备
CN113674396A (zh) * 2021-07-29 2021-11-19 维沃移动通信有限公司 壁纸生成方法、装置及电子设备
CN114937108A (zh) * 2021-02-05 2022-08-23 中国科学院过程工程研究所 一种图像渲染方法、装置、电子设备及介质

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8291322B2 (en) * 2009-09-30 2012-10-16 United Video Properties, Inc. Systems and methods for navigating a three-dimensional media guidance application
US9936333B2 (en) * 2010-08-10 2018-04-03 Microsoft Technology Licensing, Llc Location and contextual-based mobile application promotion and delivery
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
US20120120113A1 (en) * 2010-11-15 2012-05-17 Eduardo Hueso Method and apparatus for visualizing 2D product images integrated in a real-world environment
US20120135783A1 (en) * 2010-11-29 2012-05-31 Google Inc. Mobile device image feedback
FR2973904B1 (fr) * 2011-04-11 2013-05-10 Sogitec Ind Consultation de maquettes numeriques a partir de postes legers
US20130054319A1 (en) * 2011-08-29 2013-02-28 United Video Properties, Inc. Methods and systems for presenting a three-dimensional media guidance application
WO2013044983A1 (en) * 2011-09-30 2013-04-04 Layar B.V. Feedback to user for indicating augmentability of an image
US20130145293A1 (en) * 2011-12-01 2013-06-06 Avaya Inc. Methods, apparatuses, and computer-readable media for providing availability metaphor(s) representing communications availability in an interactive map
JP5891843B2 (ja) * 2012-02-24 2016-03-23 ソニー株式会社 クライアント端末、サーバ、およびプログラム
US8847137B2 (en) 2012-02-29 2014-09-30 Blackberry Limited Single package imaging and inertial navigation sensors, and methods of manufacturing the same
EP2634802A1 (en) * 2012-02-29 2013-09-04 BlackBerry Limited Single package imaging and inertial navigation sensors, and methods of manufacturing the same
US8473975B1 (en) 2012-04-16 2013-06-25 The Nielsen Company (Us), Llc Methods and apparatus to detect user attentiveness to handheld computing devices
US8803916B1 (en) 2012-05-03 2014-08-12 Sprint Communications Company L.P. Methods and systems for an augmented reality service delivery platform
US9026928B2 (en) * 2012-06-06 2015-05-05 Apple Inc. Graphical user interface layout
US8918087B1 (en) * 2012-06-08 2014-12-23 Sprint Communications Company L.P. Methods and systems for accessing crowd sourced landscape images
US9129429B2 (en) * 2012-10-24 2015-09-08 Exelis, Inc. Augmented reality on wireless mobile devices
US9142038B2 (en) * 2012-11-06 2015-09-22 Ripple Inc Rendering a digital element
US10924627B2 (en) * 2012-12-31 2021-02-16 Virtually Anywhere Content management for virtual tours
US20140278053A1 (en) * 2013-03-14 2014-09-18 Samsung Electronics Co., Ltd. Navigation system with dynamic update mechanism and method of operation thereof
WO2014152489A1 (en) * 2013-03-15 2014-09-25 Brian Bare System and method for providing secure data for display using augmented reality
US10380799B2 (en) * 2013-07-31 2019-08-13 Splunk Inc. Dockable billboards for labeling objects in a display having a three-dimensional perspective of a virtual or real environment
US20150035823A1 (en) 2013-07-31 2015-02-05 Splunk Inc. Systems and Methods for Using a Three-Dimensional, First Person Display to Convey Data to a User
CN104348704B (zh) * 2013-08-02 2019-06-28 腾讯科技(深圳)有限公司 一种展示街景微博的方法、装置和系统
US9437170B1 (en) * 2013-08-12 2016-09-06 Roberto Quevedo Montesdeoca Systems and methods for augmented reality display
KR101627169B1 (ko) * 2013-09-27 2016-06-07 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템
US9612802B1 (en) * 2013-09-27 2017-04-04 Emc Corporation Contextual interactive program feedback
US10242400B1 (en) 2013-10-25 2019-03-26 Appliance Computing III, Inc. User interface for image-based rendering of virtual tours
US9756549B2 (en) 2014-03-14 2017-09-05 goTenna Inc. System and method for digital communication between computing devices
KR102216049B1 (ko) * 2014-04-21 2021-02-15 삼성전자주식회사 시맨틱 라벨링 시스템 및 방법
US9646418B1 (en) 2014-06-10 2017-05-09 Ripple Inc Biasing a rendering location of an augmented reality object
US12008697B2 (en) 2014-06-10 2024-06-11 Ripple, Inc. Of Delaware Dynamic location based digital element
US9619940B1 (en) 2014-06-10 2017-04-11 Ripple Inc Spatial filtering trace location
US10930038B2 (en) * 2014-06-10 2021-02-23 Lab Of Misfits Ar, Inc. Dynamic location based digital element
US10026226B1 (en) 2014-06-10 2018-07-17 Ripple Inc Rendering an augmented reality object
US20160378789A1 (en) * 2014-07-25 2016-12-29 Raytheon Company System and method for global object recognition
CN104197950B (zh) * 2014-08-19 2018-02-16 奇瑞汽车股份有限公司 地理信息显示的方法及系统
US10335677B2 (en) 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
KR20160133154A (ko) * 2015-05-12 2016-11-22 삼성전자주식회사 전자 장치 및 그의 그래픽 유저 인터페이스 제공 방법
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US9984499B1 (en) 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US10339367B2 (en) * 2016-03-29 2019-07-02 Microsoft Technology Licensing, Llc Recognizing a face and providing feedback on the face-recognition process
WO2017201569A1 (en) 2016-05-23 2017-11-30 tagSpace Pty Ltd Fine-grain placement and viewing of virtual objects in wide-area augmented reality environments
US10796273B2 (en) * 2016-11-18 2020-10-06 Livible, Inc. Platform for management and organization of personal property
CN106708267A (zh) * 2016-12-26 2017-05-24 上海今尚数码科技有限公司 一种通过增强现实技术切入全景展示的方法
US10319149B1 (en) * 2017-02-17 2019-06-11 Snap Inc. Augmented reality anamorphosis system
US10074381B1 (en) 2017-02-20 2018-09-11 Snap Inc. Augmented reality speech balloon system
US10387730B1 (en) 2017-04-20 2019-08-20 Snap Inc. Augmented reality typography personalization system
CN107346243B (zh) * 2017-06-09 2020-08-11 中国电子科技集团公司第四十一研究所 一种应用于测量仪器的在线编程方法
US10740974B1 (en) 2017-09-15 2020-08-11 Snap Inc. Augmented reality system
US10813169B2 (en) 2018-03-22 2020-10-20 GoTenna, Inc. Mesh network deployment kit
CN108924453A (zh) * 2018-06-19 2018-11-30 中国联合网络通信集团有限公司 视频流推送方法及系统、上报单元
US10997760B2 (en) 2018-08-31 2021-05-04 Snap Inc. Augmented reality anthropomorphization system
US11972529B2 (en) 2019-02-01 2024-04-30 Snap Inc. Augmented reality system
CN111694625B (zh) * 2019-03-14 2023-05-19 阿里巴巴集团控股有限公司 一种车盒向车机投屏的方法和设备
US11011055B2 (en) * 2019-03-21 2021-05-18 Verizon Patent And Licensing Inc. Collecting movement analytics using augmented reality
CN112102497B (zh) 2019-06-18 2024-09-10 卡兰控股有限公司 用于将应用和交互附接到静态对象的系统和方法
US11341727B2 (en) 2019-06-18 2022-05-24 The Calany Holding S. À R.L. Location-based platform for multiple 3D engines for delivering location-based 3D content to a user
US11546721B2 (en) 2019-06-18 2023-01-03 The Calany Holding S.À.R.L. Location-based application activation
CN112102498A (zh) 2019-06-18 2020-12-18 明日基金知识产权控股有限公司 用于将应用虚拟地附接到动态对象并实现与动态对象的交互的系统和方法
US11516296B2 (en) 2019-06-18 2022-11-29 THE CALANY Holding S.ÀR.L Location-based application stream activation
CN110442416B (zh) * 2019-08-09 2022-12-09 上海连尚网络科技有限公司 用于展示信息的方法、电子设备和计算机可读介质
US11741152B2 (en) 2019-10-07 2023-08-29 Raytheon Company Object recognition and detection using reinforcement learning
CN111638793B (zh) * 2020-06-04 2023-09-01 浙江商汤科技开发有限公司 飞行器的展示方法、装置、电子设备及存储介质
WO2022019955A1 (en) * 2020-07-22 2022-01-27 Google Llc Methods and apparatus for adaptive augmented reality anchor generation
US11676363B2 (en) 2020-09-22 2023-06-13 International Business Machines Corporation Enhanced digital image loading
CN113515193B (zh) * 2021-05-17 2023-10-27 聚好看科技股份有限公司 一种模型数据传输方法及装置
CN114708377B (zh) * 2022-06-02 2022-09-30 杭州华鲤智能科技有限公司 一种虚拟空间中的3d图像渲染方法
CN114748873B (zh) * 2022-06-14 2022-09-20 北京新唐思创教育科技有限公司 界面渲染方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040128070A1 (en) * 2002-12-31 2004-07-01 Hauke Schmidt System and method for advanced 3D visualization for mobile navigation units
US20070110338A1 (en) * 2005-11-17 2007-05-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
US20080033641A1 (en) * 2006-07-25 2008-02-07 Medalia Michael J Method of generating a three-dimensional interactive tour of a geographic location
CN101379369A (zh) * 2006-01-09 2009-03-04 诺基亚公司 基于地理位置在移动设备中显示网络对象
US20090167786A1 (en) * 2007-12-24 2009-07-02 Ronald Stanions Methods and apparatus for associating image data
US20100066750A1 (en) * 2008-09-16 2010-03-18 Motorola, Inc. Mobile virtual and augmented reality system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840032B2 (en) * 2005-10-04 2010-11-23 Microsoft Corporation Street-side maps and paths
JP2008108246A (ja) * 2006-10-23 2008-05-08 Internatl Business Mach Corp <Ibm> 閲覧者の位置に従って仮想画像を生成するための方法、システム、およびコンピュータ・プログラム
US8638332B2 (en) * 2009-08-28 2014-01-28 International Business Machines Corporation Teleport preview provisioning in virtual environments
US9390544B2 (en) * 2009-10-20 2016-07-12 Robert Bosch Gmbh 3D navigation methods using nonphotorealistic (NPR) 3D maps

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040128070A1 (en) * 2002-12-31 2004-07-01 Hauke Schmidt System and method for advanced 3D visualization for mobile navigation units
US20070110338A1 (en) * 2005-11-17 2007-05-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
CN101379369A (zh) * 2006-01-09 2009-03-04 诺基亚公司 基于地理位置在移动设备中显示网络对象
US20080033641A1 (en) * 2006-07-25 2008-02-07 Medalia Michael J Method of generating a three-dimensional interactive tour of a geographic location
US20090167786A1 (en) * 2007-12-24 2009-07-02 Ronald Stanions Methods and apparatus for associating image data
US20100066750A1 (en) * 2008-09-16 2010-03-18 Motorola, Inc. Mobile virtual and augmented reality system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DIETER SCHMALSTIEG, MICHAEL GERVAUTZ: "Demand-Driven Geometry Transmission for Distributed Virtual Environments", 《COMPUTER GRAPHICS FORUM》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10956938B2 (en) 2011-09-30 2021-03-23 Nokia Technologies Oy Method and apparatus for associating commenting information with one or more objects
US9639857B2 (en) 2011-09-30 2017-05-02 Nokia Technologies Oy Method and apparatus for associating commenting information with one or more objects
CN109643469B (zh) * 2016-09-30 2024-03-12 英特尔公司 增强现实渲染的结构化内容
CN109643469A (zh) * 2016-09-30 2019-04-16 英特尔公司 增强现实渲染的结构化内容
CN109792488A (zh) * 2016-10-10 2019-05-21 高通股份有限公司 用以辅助三维扫描对象的用户界面
TWI675351B (zh) * 2016-10-26 2019-10-21 香港商阿里巴巴集團服務有限公司 基於擴增實境的使用者位置定位方法及裝置
CN106648841B (zh) * 2016-12-12 2020-06-30 中国航空工业集团公司西安航空计算技术研究所 一种图形上下文管理方法
CN106648841A (zh) * 2016-12-12 2017-05-10 中国航空工业集团公司西安航空计算技术研究所 一种图形上下文管理方法
CN108391445A (zh) * 2016-12-24 2018-08-10 华为技术有限公司 一种虚拟现实显示方法及终端
CN108391445B (zh) * 2016-12-24 2021-10-15 华为技术有限公司 一种虚拟现实显示方法及终端
CN107168619A (zh) * 2017-03-29 2017-09-15 腾讯科技(深圳)有限公司 用户生成内容处理方法和装置
CN107168619B (zh) * 2017-03-29 2023-09-19 腾讯科技(深圳)有限公司 用户生成内容处理方法和装置
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN111971714A (zh) * 2018-09-12 2020-11-20 谷歌有限责任公司 增强现实环境中的加载指示器
CN111400621B (zh) * 2020-04-06 2023-06-06 中信银行股份有限公司 位置信息真实性校验方法、装置及电子设备
CN111400621A (zh) * 2020-04-06 2020-07-10 中信银行股份有限公司 位置信息真实性校验方法、装置及电子设备
CN111862344A (zh) * 2020-07-17 2020-10-30 北京字节跳动网络技术有限公司 图像处理方法、设备和存储介质
CN111862344B (zh) * 2020-07-17 2024-03-08 抖音视界有限公司 图像处理方法、设备和存储介质
CN114937108A (zh) * 2021-02-05 2022-08-23 中国科学院过程工程研究所 一种图像渲染方法、装置、电子设备及介质
CN113569177A (zh) * 2021-07-16 2021-10-29 上海淇玥信息技术有限公司 一种跳转网页优化的方法、装置及电子设备
WO2023006011A1 (zh) * 2021-07-29 2023-02-02 维沃移动通信有限公司 壁纸生成方法、装置及电子设备
CN113674396A (zh) * 2021-07-29 2021-11-19 维沃移动通信有限公司 壁纸生成方法、装置及电子设备

Also Published As

Publication number Publication date
WO2011144800A1 (en) 2011-11-24
ZA201209416B (en) 2014-05-28
CA2799444C (en) 2018-01-09
EP2572337A1 (en) 2013-03-27
US20110279453A1 (en) 2011-11-17
EP2572337A4 (en) 2018-01-17
US20170228937A1 (en) 2017-08-10
CA2799444A1 (en) 2011-11-24

Similar Documents

Publication Publication Date Title
CN103003847A (zh) 用于渲染基于位置的用户界面的方法和装置
CN102741797B (zh) 用于转换三维地图对象以呈现导航信息的方法和装置
Schmalstieg et al. Augmented Reality 2.0
CN102985901B (zh) 用于为移动设备上基于位置的服务渲染对象的立体图及与其相关的内容的方法和装置
RU2559741C2 (ru) Способ и устройство для аннотирования информации о точках интереса
US9558559B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN103003786A (zh) 用于为基于位置的服务渲染具有主视图部分和预览部分的用户界面的方法和装置
US9317133B2 (en) Method and apparatus for generating augmented reality content
CN103857989B (zh) 用于在活动用户接口元素中呈现搜索结果的方法和装置
US8812990B2 (en) Method and apparatus for presenting a first person world view of content
CN103502982B (zh) 用于在基于位置的用户接口中显示交互式预览信息的方法和装置
CN103119544B (zh) 展现基于位置的内容的方法和装置
Simon et al. A mobile application framework for the geospatial web
CN102754097B (zh) 用于呈现内容的第一人世界视图的方法和装置
Zlatanova Augmented reality technology
Chen Ubiquitous positioning and mobile location-based services in smart phones
US20060190285A1 (en) Method and apparatus for storage and distribution of real estate related data
US20150109186A1 (en) Head Mounted Portable Wireless Display Device For Location Derived Messaging
WO2019183593A1 (en) Design and generation of augmented reality experiences for structured distribution of content based on location-based triggers
CN103959288A (zh) 用于基于web的增强现实应用查看器的方法和装置
US20150155009A1 (en) Method and apparatus for media capture device position estimate- assisted splicing of media
CN103443589A (zh) 用于确定位置偏移信息的方法和装置
Baldauf et al. A device-aware spatial 3D visualization platform for mobile urban exploration
Baldauf et al. A lightweight 3d visualization approach for mobile city exploration
Yuwei Multi-sensors Based 3D Mobile Navigation and Its Application on Telecommunication Services and Social Networking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160105

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130327