CN102754097A - 用于呈现内容的第一人世界视图的方法和装置 - Google Patents
用于呈现内容的第一人世界视图的方法和装置 Download PDFInfo
- Publication number
- CN102754097A CN102754097A CN2010800560253A CN201080056025A CN102754097A CN 102754097 A CN102754097 A CN 102754097A CN 2010800560253 A CN2010800560253 A CN 2010800560253A CN 201080056025 A CN201080056025 A CN 201080056025A CN 102754097 A CN102754097 A CN 102754097A
- Authority
- CN
- China
- Prior art keywords
- content
- user interface
- information
- user
- subscriber equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
Abstract
本发明提供一种用于呈现内容的全球视图的方法。内容映射平台接收内容的访问地址,该内容包括位置信息。然后,内容映射平台通过至少部分地在访问地址检测内容来确定内容的可用性信息,并基于内容的可用性信息,至少部分地在用户设备的用户接口上呈现指示位置信息的内容。
Description
背景技术
服务提供商(例如无线、蜂窝等)和设备制造商不断接受挑战以通过例如提供引人注目的网络服务来向消费者提供价值和便利。一个感兴趣的领域已经是开发用于通过例如因特网来提供在线内容(例如,在线电视广播、流视频和音频、图像等)的服务,这已导致源于整个世界的大量可用内容。应当指出,大多数这种内容可以是高质量的(例如,专业制作的在线网络电视频道)并吸引大范围的用户,但这些内容通常很难被发现。因此,服务提供商和设备制造商面临重大技术挑战以使用户能够发现并访问这些内容。
发明内容
因此,需要一种用于有效地发现内容的可用性并呈现所发现的内容的第一人世界视图的方法。
根据一个实施例,一种方法包括:接收内容的访问地址,该内容包括位置信息。该方法还包括通过至少部分地检测在访问地址处的内容来确定内容的可用性信息。该方法还包括:基于内容的可用性信息,至少部分地在用户设备的用户接口上呈现指示位置信息的内容。用户接口包括基于所确定的用户设备的位置、指向方向和仰角的第一人视角。
根据另一个实施例,一种装置包括:至少一个处理器和包括计算机程序代码的至少一个存储器,该至少一个存储器和计算机程序代码被配置为用至少一个处理器至少部分地使所述装置接收内容的访问地址,该内容数据包括位置信息。进一步使该装置通过至少部分地在访问地址检测内容来确定内容的可用性信息。进一步使该装置基于内容的可用性信息,在用户设备的用户接口上呈现指示位置信息的内容。用户接口包括基于所确定的用户设备的位置、指向方向和仰角的第一人视角。
根据另一个实施例,一种携带一个或多个序列的一个或多个指令的计算机可读存储媒体,当其被一个或多个处理器执行时,至少部分地使得装置接收内容的访问地址,该内容包括位置信息。进一步使该装置通过至少部分地在访问地址检测内容来确定内容的可用性信息。进一步使该装置基于内容的可用性信息,在用户设备的用户接口上呈现指示位置信息的内容。用户接口包括基于所确定的用户设备的位置、指向方向和仰角的第一人视角。
根据另一个实施例,一种装置包括用于接收内容的访问地址的装置,该内容包括位置信息。该装置还包括用于在一个地图对象上选择点的装置。该装置还包括用于通过至少部分地在访问地址检测内容来确定内容的可用性信息的装置。该装置另外包括用于基于内容的可用性信息而至少部分地在用户设备的用户接口上呈现指示位置信息的内容的装置。用户接口包括基于所确定的用户设备的位置、指向方向和仰角的第一人视角。
通过仅说明多个特定实施例和实现,包括用于实现本发明而设想的最佳模式,本发明的其它方面、特征和优点根据下面的详细说明会非常清楚。本发明还能够包含其它不同的实施例,并且它的若干细节可以在各种显然的方面进行修改,所有这些都不脱离本发明的精神和范围。因此,附图和说明应该被认为是本质上的说明,而非限制性的。
附图说明
本发明的实施例作为示例进行描述,而并不作为限制的方式,在附图的图中:
图1是根据一个实施例的能够呈现内容的世界视图的系统的图;
图2是根据一个实施例的内容映射平台的组件的图;
图3是根据一个实施例的能够呈现内容的世界视图的用户设备的组件的图;
图4是根据一个实施例的用于确定内容的可用性的过程的流程图;
图5是根据一个实施例的表示用于获取和更新内容可用性信息的一系列消息和过程的时序图;
图6是根据一个实施例的用于呈现描绘内容的第一人世界视图的用户接口的过程的流程图;
图7是根据一个实施例的表示应用了透明效果的增强现实视图的图;
图8是根据一个实施例的用于在固定位置锁定增强现实用户接口的过程的流程图;
图9是根据一个实施例的用于在地图上呈现内容的全球视图的用户接口的图;
图10是根据一个实施例的用于更新内容访问信息的用户接口的图;
图11是根据一个实施例的用于呈现内容的增强现实世界视图的用户接口的图;
图12是用于实现本发明的实施例的硬件的图;
图13是用于实现本发明的实施例的芯片组的图;
图14是用于实现本发明的实施例的移动终端(例如,手持设备)的图。
具体实施方式
公开了用于呈现内容的世界视图的方法、装置和计算机程序的例子。在下面的描述中,为了解释的目的,描述了许多特定细节以便提供对本发明的全面理解。然而,对于本领域的普通技术人员来说,显然,本发明的实施例可无需这些特定细节实现或用等同配置实现。在其它情况下,为了避免不必要地模糊本发明的实施例,已知结构和设备以框图的形式示出。
图1是根据一个实施例的能够呈现内容的世界视图的系统的图。如前面所述,大量的内容(例如,直播/流传输在线TV频道、媒体文件等)可以使用计算机、移动设备和其它因特网连接的设备而通过因特网访问。在许多情况下,频道是全球可用并且免费的。换句话说,内容或频道通常可源自于世界上的任何地方,以用于由位于世界上任何其它地方的设备访问。然而,某些内容可以是受限或专用的。例如,某些内容可以是付费服务的一部分,或者可在设备访问内容之前要求注册、认证或某些其它预访问过程。在例如用户没有首先访问站点或另外试图访问内容时,这些限制很难确定。人工测试每个潜在内容源的限制和专用性对于用户执行是相当资源密集的(例如时间、带宽等)和有负担的。因此,用户可能放弃探索和/或访问这种内容。
即使在某些内容受限或专用时,应当指出,在互联网上仍然有可用的内容和内容相关信息的庞大集合。该庞大集合可迅速地淹没用户,从而使用户很难识别和访问感兴趣的内容。例如,一种在因特网上观看内容呈现的方式是通过内容列表。然而,在有关内容的信息的密度很高的情况下,这种传统的内容列表方法可能并不有效。更具体地,信息的高密度可使得列表很长并吸引用户。另外,当内容在典型的埋在其它项中的列表中呈现时,用户可能不能找到感兴趣的内容。没有令人兴奋和新颖的呈现,引起用户注意的内容可能会被忽视和错过。
为了解决上述的问题,图1的系统100引入了呈现简单、直观的接口的能力,该接口向用户提供当前可用的内容的全球视图。更具体地,系统100接收有关潜在可用的内容的访问信息,并自动地访问内容作为验证过程的一部分,以确定内容的可用性信息。在一个实施例中,验证过程可以以预定时间间隔(例如,每30秒、每5分钟等)或以指定的次数执行,以确保可用性信息是最新的。一旦内容被验证并确定了可用性信息,则系统100生成用户接口以在有趣的用户接口中呈现内容或内容信息。在在此描述的方法中,这些用户接口是基于描绘通常与内容相关联的位置信息。作为例子,位置信息可指示:(1)内容的广播位置;(2)作为内容的主题的位置;(3)内容被获取的位置,例如地理标记的数据;(4)内容的提供商的位置,或任何其它将内容联系到特定位置的数据或信息。还可以设想内容可与多个位置相关联。
在一个实施例中,系统100在地图(例如,世界地图)上呈现内容的表示(例如,缩略图、动画、音频警报等),其中内容表示被显示在对应于与内容相关联的位置信息的位置处。在另一个实施例中,系统100根据三维(3D)方向显示内容,其中沿着该方向指向显示内容的用户设备。更具体地,系统100利用增强现实(例如,使用位置的现场或实际图像)或增强虚拟(例如,使用3D模型和3D映射信息)来呈现从用户设备的当前位置在第一人视图中看见的地图对象(例如,地球)的模型,以致在视图中看见的位置与现实中对应的物理位置相匹配。尽管参考地球作为三维地图对象讨论各种实施例,但可以知道,在此所描述的方法可应用于任何地图对象,包括任何真实对象(例如房屋、道路、造纸厂等)和/或虚拟对象(例如规划的建筑模型、虚拟对象的渲染等)。在又一个实施例中,根据位置信息,第一人视图被渲染,如同用户会看穿地图对象(例如地球)以观看内容的表示。该视图(例如透明效果)可例如在内容位置信息表明内容与足够远离用户位置的位置(例如,地球的相反一侧)相关联并且地图对象(例如地球)本身会成为用户和内容之间的障碍时使用。
换句话说,视图向用户显示在地图对象的另一侧的用户设备被指向的对应位置处的内容。有利地,该视图使用户能够知道在所生成的第一人视图中看见的地图对象如何与物理世界有关。因此,用户可具体知道性质(例如,地球的球面性质)。例如,应当指出,尽管用户通常熟悉地球是圆的,但他们并未主动考虑它在物理世界中的含义:他们生活在圆形行星的表面,并且世界的大多数实际上位于他们脚下的某个地方。例如,如果生活在纽约的人被问到中国实际上在哪里,则他可能会用指南针方向(例如,纽约的东方)回答或者根本不能正确回答。这个人不可能沿着穿过他脚下的地球的最直接的方向指出。
这一视角或方向的欠缺的出现部分是因为传统的基于位置的增强现实系统缺乏指向和/或搜索/浏览地球上任何地方(包括地球的另一侧)的内容(例如,地理位置、地理标记的数据、与位置信息相关联的内容等)的可能性。与在此所述的方法不同,传统的增强现实方案仅适用于从用户的真实物理位置物理可见的范围。该范围由于诸如建筑物的墙等的障碍物而实际上非常小,最终,对象会落在远处地平线以下,使得远距离对象不可能在传统的增强现实系统中看到。由于系统100的第一人增强现实视图将地球看成好像是透明的,因此,系统100在渲染远距离对象方面不会受到传统系统的类似限制。
在另一个实施例中,系统100使用户能够按照时间以及位置来浏览可用内容。例如,用户可以指定过去、现在或未来的时间。然后,系统100可以确定关于所指定的时间段的内容的可用性,并根据所指定的时间来映射内容。这样,用户可在任何特定时间观看哪些内容可用。例如,为了观看即将到来的内容以致用户可计划访问什么内容,用户可以指定未来的时间段,并生成对应的内容地图以开发可用的内容。
如图1所示,用户设备(UE)101可通过通信网络105从内容映射平台103获取内容信息(例如,内容和位置信息)和映射信息(例如,全球地图、3D地图、第一人增强现实视图等)。内容信息和映射信息可在UE101上被应用107(例如,增强现实应用、导航应用或其它基于位置的应用)使用。在图1的例子中,内容映射平台103在内容目录109a中存储内容信息,并在地图数据库109b中存储映射信息。作为例子,内容信息包括一个或多个标识符、元数据、访问地址(例如,诸如统一资源定位器(URL)或因特网协议(IP)地址的网络地址;或者诸如UE 101的存储器中文件或存储器位置的本地地址)、描述或与内容相关联的类似信息。在一个实施例中,内容包括直播媒体(例如,流传输广播)、所存储的媒体(例如,在网络或本地存储的)、与媒体相关联的元数据、文本信息、其它用户设备的位置信息、映射数据、地理标记的数据(例如,指示人、对象、图像等的位置)或它们的组合。内容可由包括一个或多个服务113a-113n(例如,音乐服务、映射服务、视频服务、社会网络服务、内容广播服务等)的服务平台111、一个或多个内容提供商115a-115m(例如,在线内容零售商、公共数据库等)、其它通过通信网络105可用或可访问的内容源提供。
在某些实施例中,呈现给用户的映射信息和地图可以是增强现实视图、模拟3D环境、二维地图等。在某些实施例中,模拟3D环境是为了模拟区域的街道、建筑物、地貌等而创建的3D模型。该模型可用于从虚拟的任何角度或视角渲染位置以在UE 101上显示。在某些程序中(例如,导航应用107),3D模型或环境使得例如导航应用107能够动画模拟3D环境的移动以向用户提供更动态和可能更有用或感兴趣的映射显示。在一个实施例中,使用简单对象存储结构(例如,描述结构的维度的三维模型)。进一步地,更复杂的对象可用于在3D表示内表示结构和其它对象。复杂对象可包括将复杂对象划分成部分或单元的多个更小或简单的对象。为了创建3D模型,对象信息可从多个数据库中以及根据诸如处理与位置标记相关联的图像以确定3D模型中的结构和其它对象的数据录入方法收集。
另外或可选地,映射信息可使用其它用户接口显示,诸如音频接口、触觉反馈和其它感观接口。例如,在映射信息的音频表示中,街道、建筑物、地貌、兴趣点、内容等的近似位置可被在UE 101上执行的语音合成器朗读。
另外或可选地,在某些实施例中,UE 101的图像获取模块117可结合应用107使用以向用户呈现内容信息、位置信息(例如,映射和导航信息)、可用信息等。用户可被呈现与应用107和/或内容映射平台相关联的增强现实接口,其允许3D对象或内容和相关信息的其它表示重叠在UE 101上的物理环境的图像上。在某些实施例中,用户接口可显示混合的物理和虚拟环境,其中,来自地图数据库109的3D对象被重叠地放置在物理图像之上。
作为例子,UE 101可执行应用107以从内容映射平台103或网络的其它组件接收内容和/或映射信息。如上所述,应用107和内容映射平台103接收有关内容的访问信息,根据访问信息周期性地确定内容的可用性,然后呈现内容的唯一的全球视图(例如,可用内容的全球地图或具有透明地球效果的全球内容的增强现实视图)。
另外,在地图数据库109b中存储的映射信息可以根据真实世界的建筑物和其它场所的3D模型创建。这样,对象可与真实世界的位置相关联(例如,基于诸如全球定位系统(GPS)坐标的位置坐标)。在某些实施例中,UE 101可利用GPS卫星119来确定UE 101的位置,以利用内容映射平台103和/或应用107的内容映射功能。映射信息可包括物理环境(例如建筑物)中对象和结构的3D模型(例如,复杂3D模型),其由诸如多边形的多个分离但相连的简单3D形状构成。传统的3D建模方法包括访问和变换每个多边形,每个多边形在大小和形状上不同于形成对象的完整3D模型的其它多边形。
作为例子,系统100的通信网络105包括一个或多个网络,诸如数据网络(未示出)、无线网络(未示出)、电话网络(未示出)或它们的任意组合。可以设想,数据网络可以是任何局域网(LAN)、城域网(MAN)、广域网(WAN)、公共数据网(例如因特网)、或任何其它适合的分组交换网络,诸如商业拥有的私有分组交换网络,例如私有电缆或光纤网络。另外,无线网络可以是例如蜂窝网络,并可应用各种技术,包括增强型数据速率全球演进(EDGE)、通用分组无线服务(GPRS)、全球移动通信系统(GSM)、因特网协议多媒体子系统(IMS)、通用移动通信系统(UMTS)等,以及应用任何其它适合的无线媒体,例如微波访问全球互连(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(WiFi)、卫星、移动自组织网络(MANET)等。
UE 101是任何类型的移动终端、固定终端或便携式终端,包括移动手持设备、移动站、移动单元、移动设备、导航设备、多媒体计算机、多媒体平板电脑、因特网节点、通讯器、桌上型计算机、膝上型计算机、个人数字助理(PDA)或其任意组合。例如,UE 101可以是模拟或提供虚拟类望远镜功能的设备。该类型的UE 101可例如被安装在公共场所(例如,商业中心、旅馆等)以使用户能够观看如在此所描述的被呈现的内容。还可以设想UE 101可支持任何类型的与用户之间的接口(诸如“穿戴式”电路等)。
作为例子,UE 101和内容映射平台103可使用已知的、新的或仍在开发的协议彼此通信或与通信网络105的其它组件进行通信。在该上下文中,协议包括一组规则,其定义通信网络105内的网络节点如何根据通过通信链路发送的信息彼此进行交互。协议在每个节点内的不同操作层是有效的,从生成和接收各种类型的物理信号到选择用于传送这些信号的链路、到格式化由这些信号指示的信息、到识别在计算机系统上执行的哪个软件应用发送或接收信息。用于通过网络交换信息的在概念上不同的协议层在开放系统互连(OSI)参考模型中描述。
网络节点之间的通信通常通过交换数据的离散分组实现。每个分组通常包括(1)与特定协议相关的报头信息;(2)有效载荷信息,其在报头信息之后,并包含可独立于该特定协议而被处理的信息。在某些协议中,分组包括(3)尾部信息,其在有效载荷之后,并表明有效载荷信息的结束。报头包括诸如分组的源、它的目的地、有效载荷的长度和协议所使用的其它属性的信息。通常,在用于特定协议的有效载荷中的数据包括用于与OSI参考模型的不同的更高层相关联的不同协议的报头和有效载荷。用于特定协议的报头通常指示在它的有效载荷中包含的下一个协议的类型。更高层协议被认为封装在更低层协议中。在穿越多个异构网络(诸如因特网)的分组中包括的报头通常包括物理层(层1)报头、数据链路层(层2)报头、因特网层(层3)报头和传输层(层4)报头、以及各种应用层报头(层5、层6和层7),如OSI参考模型所定义的。
在一个实施例中,应用107和内容映射平台103可根据客户机-服务器模型进行交互。根据客户机-服务器模型,客户机进程向服务器进程发送包括请求的消息,服务器进程通过提供服务(例如,提供映射信息)来响应。服务器进程还可向客户机进程返回具有响应的消息。通常,客户机进程和服务器进程在不同的称为主机的计算机设备上执行,并使用一个或多个用于网络通信的协议通过网络进行通信。术语“服务器”通常用于指代提供服务的进程或进程在其上运行的主机计算机。同样,术语“客户机”通常用于指代进行请求的进程或进程在其上运行的主机计算机。如在此所使用的,术语“客户机”和“服务器”是指进程,而不是主机计算机,除非在上下文中另外清楚指出。此外,由服务器执行的进程由于包括可靠性、可扩展性和冗余的原因而可以被分解为多个进程在多个主机(有时称为层)上运行。
图2是根据一个实施例的内容映射平台的组件的图。作为例子,内容映射平台103包括一个或多个用于呈现内容的全球视图的组件。可以设想,这些组件的功能可以被结合在一个或多个组件中或由其它等同功能的组件执行。在该实施例中,内容映射平台103包括至少一个控制逻辑201,其执行用于执行内容映射平台103的功能的至少一个算法。例如,控制逻辑201与内容管理模块203进行交互以接收与一个或多个内容项对应的访问地址。访问地址可以从服务平台111、服务113a-113n、内容提供商115a-115m、其它类似组件或其组合接收。还可以设想用户或得到用户授权的另一方可人工输入内容项的访问地址。在一个实施例中,内容管理模块203可创建内容目录,其列出提供给内容管理模块203的所有内容项和相关的访问地址。在某些实施例中,内容目录可包括其它描述性信息和其它描述内容的元数据。
接着,控制逻辑与内容验证模块205进行交互以确定可用性或有关内容的可用性的信息。更具体地,内容验证模块205通过在对应的访问地址访问内容来验证给定内容项(例如,直播广播流)的状态。作为例子,状态包括:(1)托管内容的访问地址的服务器是否用所请求的内容响应;(2)对内容是否有任何限制或专用性限制(例如,在访问之前进行内容要求认证或注册);(3)内容是否在某个时期可用(例如,仅用于特定时期或仅在特定时间);和其它类似信息。在一个实施例中,内容验证模块205可在内容管理模块205将内容项和相关信息添加到内容目录之前验证特定内容项。可选地,内容验证模块205可通过扫描整个内容目录并因而更新可用性信息来持续地执行验证进程(例如,在预定或固定的时间间隔)。
由于可用的媒体内容或流可采用许多形式(例如,直播视频馈送、照片、音频文件等),并可使用任意方式(例如,流传输媒体、所下载的媒体、自然创建的媒体)传送,因此,内容验证模块205包括一个或多个子模块或应用编程接口(API)(未示出),用于接收和/或检测采用自己的原始格式的媒体内容或者用于将媒体内容转变成兼容内容映射平台103的媒体格式。在其它实施例中,内容验证模块205可启动下载或安装验证内容或流所需要的组件(例如,编码解码器、播放器应用等)。
在验证后,控制逻辑201与映射模块207进行交互以将与一个或多个内容项相关联的位置信息与地图上各自的位置相关。在一个实施例中,位置信息可包括坐标(例如,GPS坐标)或其它指示符(例如,经度和纬度信息),它可与现有的地图相关联。例如,位置信息可从诸如照片、视频,音频记录等的任何地理标记的数据(例如,自动或由用户人工进行地理标记的)中提取或获取。当数据被获取或记录时,该位置信息(例如,GPS或其它坐标相关的数据)通常与数据一起被记录。然后,映射模块207可以对数据执行识别(例如面部识别、音频识别、对象识别等),以识别数据中的人、位置、其它主题或相关信息。然后,所识别的人、位置等可与所提取的位置信息相关联。另外或可选地,位置信息或地理标记的数据还可由映射模块207通过从相关的元数据(例如,媒体名称、标记和评论)中获取位置来创建。更具体地,映射模块207可分析元数据以获取任何指示与特定位置之间的关联的项目。例如,家庭度假照片可用“巴黎度假”的描述进行标记。映射模块207可使用自然语言模型分析“巴黎度假”以将该照片与法国巴黎相关联,即使照片没有包括任何传统的位置信息(例如,GPS坐标)。
然后,映射模块207使用任何类型的视觉用户接口(例如,增强现实视图、3D地图等)、音频用户接口、触觉或有形用户接口(例如触觉反馈)或任何可能的用户接口或用户接口类型的组合与渲染引擎209进行交互,以呈现位置信息、内容信息和其它内容有关信息。
图3是根据一个实施例的能够呈现内容的世界视图的用户设备的组件的图。作为例子,UE 105包括一个或多个组件,用于在用户接口中呈现可通过通信网络105访问的内容的可用性信息、位置信息和内容信息。这些组件的功能可以组合在一个或多个组件中或者由其它等同功能的组件执行。在该实施例中,UE 101包括呈现内容信息并接收输入的用户接口301、从内容映射平台103获取内容和映射信息的内容映射平台接口303、运行时模块305、在本地存储内容和映射信息的缓存器307、确定UE 101的位置的位置模块309、确定UE 101的水平方向或指向方向(例如指南针指向方向)的磁力计模块311、确定UE 101的垂直方向或仰角的加速度计模块313和图像获取模块117。
内容和映射信息可通过用户接口301呈现给用户,该用户接口301可包括各种通信方法。例如,用户接口301可具有包括视觉组件(例如,屏幕)、音频组件(例如,语言指示)、物理组件(例如振动)和其它通信方法的输出。用户输入可包括触摸屏接口、麦克风、照相机、滚动并单击接口、按钮接口等。进一步地,用户可输入请求以启动应用107(例如,映射或增强现实应用)并利用用户接口301以接收内容和映射信息。通过用户接口301,用户可请求不同类型的内容、映射或位置信息被呈现。进一步地,用户可被呈现特定位置和相关对象(例如,在特定位置处的建筑物、地表特征、POI等)的3D或增强现实表示,作为在UE 101的屏幕上的图形用户接口的一部分。
内容映射平台接口303被运行时模块305用于与内容映射平台103进行通信。在某些实施例中,该接口用于从内容映射平台103、服务平台111和/或内容提供商115a-115m获取内容、映射和/或位置信息。UE 101可利用采用客户机-服务器格式的请求以获取内容和映射信息。另外,UE 101可在请求中指定位置信息和/或方向信息以获取内容和映射信息。位置模块309、磁力计模块311、加速度计模块313和图像获取模块317可用于确定在确定UE 101沿哪个方向被指向时使用的位置和/方向信息,以致与所指出的方向对应的内容和映射信息可被获取。进一步地,该内容和映射信息可以被存储在缓存器307中,以用于在UE 101处呈现内容的全球视图。
在一个实施例中,位置模块309可确定用户的位置。用户的位置可通过三角测量系统确定,诸如GPS、辅助GPS(A-GPS)、源小区、无线局域网三角测量或其它位置推断技术。标准的GPS和A-GPS可使用卫星119以精确定位UE 101的位置(例如,经度、纬度和高度)。源小区系统可用于确定蜂窝UE 101所同步的蜂窝塔。由于蜂窝塔可具有能够在地理上被映射的唯一的蜂窝标识符(蜂窝ID),因此,该信息提供UE 101的粗略位置。位置模块309还可利用多种技术以检测UE 101的位置。GPS坐标可以提供关于UE 101的位置的更精细的细节。如前面所述,位置模块309可用于确定由应用107和/或内容映射平台103使用的位置坐标。
磁力计模块311可包括可测量磁场的强度和/或方向的装置。使用与指南针相同的方法,磁力计能够使用地球的磁场确定UE 101的指向方向。图像获取设备(例如数码照相机)的前端(或UE上的另一个参考点)可以被标记为确定方向中的参考点。因此,如果磁场相对于参考点指向北,则UE 101的参考点相对磁场的角度是已知的。可以进行简单的计算以确定UE 101的方向。在一个实施例中,从磁力计获得的水平方向数据被用于确定用户的方向。该方向信息可以与UE 101的位置信息相关联以确定UE 101正指向哪里(例如,指向哪个地理特征或对象)。该信息可用于选择第一人视图以渲染内容和映射信息。
进一步地,加速度计模块313可包括可测量加速度的装置。使用具有X、Y和Z轴的三轴加速度计,用已知的角度提供在三个方向上的加速度。再一次,媒体获取设备的前端可被标记为确定方向时的参考点。由于重力所产生的加速度是已知的,因此,当UE 101静止时,加速度计模块313可确定UE 101相对于地球的重力被指向的角度。在一个实施例中,从加速度计获取的垂直方向数据用于确定UE 101正指向的仰角或倾斜角。该信息连同磁力计信息和位置信息可用于确定向用户提供内容和映射信息的视点。这样,该信息可在选择可用内容项以向用户呈现导航信息时使用。另外,组合信息可用于确定特定3D地图或增强现实视图的可能引起用户兴趣的部分。在一个实施例中,如果与一个或多个可用内容项相关联的位置信息与视点不对应(例如,在所选择的视点不可见),则可以在用户接口上显示一个或多个指示符(例如,箭头或指针)以指示朝向内容项的位置的方向。
在另一个实施例中,用户可手工输入位置、指向方向和仰角中的任意一个或多个以指定用于在UE 101上显示用户接口的视点,而不是根据传感器确定视点。这样,用户可以选择“虚拟视点”以作为不同于UE 101的当前位置和指向方向的地方。
用于支持图形用户接口的图像可以使用图像获取模块117获取。图像获取模块117可包括照相机、视频摄像机及其组合等。在一个实施例中,可视媒体以图像或一系列图像的形式获取。图像获取模块117可从照相机中获取图像,并将该图像与位置信息、磁力计信息、加速度计信息或其组合相关联。如前面所指出的,该信息的组合可用于通过将用户的位置、用户的水平方向信息和用户的垂直方向信息相结合来确定用户的视点。该信息可用于从地图缓存器307或映射平台103获取内容和映射信息。在某些实施例中,缓存器307包括内容目录109a和地图数据库109b中的所有或部分信息。
图4是根据一个实施例的用于确定内容的可用性的过程的流程图。在一个实施例中,运行时模块305执行过程400,并例如在如图13所示的包括处理器和存储器的芯片组中实现。在某些实施例中,内容映射平台103可执行过程400的某些或所有步骤,并使用客户机-服务器接口与UE 101进行通信。UE 101可启动应用107以利用内容映射平台103的内容映射服务。另外,应用107可在运行时模块305上执行。
在步骤401,运行时模块305接收包括位置信息的一个或多个内容项的访问地址。作为例子,一个或多个内容项和相关数据可包括下面的一个或多个:(1)媒体内容(例如,直播或所存储的媒体、流传输媒体、网络摄像头馈送、照片、与媒体内容有关的元数据等或其组合);(2)映射信息(例如,任何可用的映射数据);(3)文本信息(例如,诸如“意大利,威尼斯”的描述性标签);(4)其它用户(例如朋友、同事等)的位置信息和相关的头像、照片、文本等;(5)一天中的时间(例如,夜间区域可以更深的颜色可视化,或者工作时间区域可被呈现为不同于非工作时间区域);以及(6)自然现象(例如,洋流、飓风、环境条件、其它天气事件)。可以知道,内容和其它相关数据并不限于上面列出的种类。
在步骤403,运行时模块305可选择地从UE 101接收用于指定与一个或多个内容项相关联的过去、现在或未来的时间段的输入。通过能够指定时间段,在此描述的方法使得用户能够使用位置和时间来导航内容信息。在一个实施例中,用于观看内容和映射信息的缺省时间是现在。如果时间段被提供,则运行时模块将基于所指定的时间确定一个或多个内容项的可用性信息(步骤405)。如前面所述,为了确定内容项的可用性,运行时模块305分析访问地址(例如,用于因特网内容的URL或用于本地所存储的内容的文件存储位置)是否提供与一个或多个内容项对应的活动内容。例如,如果内容项是直播流广播,则运行时模块305检测流在指定时间在访问地址是否是活动的(例如,与流对应的数据是否是可用的)。
作为可用性确定过程的一部分,运行时模块305还可确定对内容项的访问是否受限或专用。即,运行时模块305可确定在对特定内容项的访问被授权之前是否有附加步骤或限制(例如,注册、支付、授权等)必须被执行。附加限制可被指出并存储在内容目录109a中。
然后,运行时模块305根据位置信息在UE 101的用户接口中呈现所确定的可用性信息(步骤407)。例如,内容和可用性信息可以用根据相关的位置信息而放置的每个内容项的表示而在地图上呈现。如果流广播源自法国巴黎,则内容可被描述为在与巴黎对应的位置处被覆盖在用户接口地图上的缩略图。如所讨论的,用户接口可以是图形用户接口。另外或可选地,用户接口可以是音频或触感接口。在一个实施例中,运行时模块305仅仅呈现在指定时间可用并且与任何限制或专用限制无关的那些内容项。该实施例提供用户可仅用单次选择点击来从所呈现的内容项中选择并确保所选择的项将是可用的用户体验。在其它实施例中,运行时模块305可呈现所有可用内容,并区分用单次点击可用的内容的呈现和与附加限制相关联的内容的呈现。在又一个实施例中,运行时模块305可显示所有评估内容,并区分可用和不可用内容的呈现,然后在可用内容内区分那些用单次点击可用的内容和那些用附加限制可用的内容。特定类型的呈现可由用户、内容提供商115、网络运营商、服务平台111或其组合指定。
接着,运行时模块确定是否周期性地更新内容可用性信息(步骤409)。如果运行时模块305已被配置为周期性的更新,则过程400返回到步骤405,并重复可用性确定步骤。如上所述,更新的频率可由用户、内容提供商115等指定。这样,运行时模块305可向用户呈现最新的可用性信息。然后,可用性信息用于更新内容目录109a(步骤411)以用于随后通过通信网络105访问和分发。
图5是根据一个实施例的表示用于获取和更新内容可用性信息的一系列消息和过程的时序图。在网络上的网络过程用带阴影的垂直框表示。从一个过程传递到另一个过程的消息用水平箭头表示。由过程执行的步骤用文本表示。在图5中表示的网络过程是UE 101a、UE 101b、内容映射平台103和内容目录109a。
在501,UE 101a向内容映射平台103传输对由在此描述的方法确定的可用内容的列表的请求。在一个实施例中,请求可包括过滤器,其使得UE 101a能够选择什么类型的内容应被包括在所请求的内容列表中。例如,请求可寻求与被标记为UE 101a的用户特别感兴趣的地方的一个或多个地方有关的信息。请求还可定义用户感兴趣的内容的标准。在接收到请求后,内容映射平台103应用过滤器和标准以向内容目录109a请求内容列表(在503)。内容目录109a完成该请求,并将内容列表返回给内容映射平台103(在505)。
在此期间,UE 101b访问内容映射平台103以指定被添加到内容列表的新内容(在507)。为了指定新内容,UE 101b可提交新内容的访问地址(例如URL)以用于内容映射平台103的评估。响应于新内容的提交或者作为周期性更新过程(如果这样配置)的一部分,内容映射平台103验证新的提交(在509),并根据验证更新用于内容目录109a的内容列表(在511)。同时,内容映射平台103评估新内容是否通过过滤器或满足UE 101a提出的标准,并将更新后的内容列表发送到UE 101a(在513)。然后,UE 101被确保具有专用于所提出的过滤器和标准的最新内容列表。在某些实施例中,内容映射平台103还可应用由内容提供商115、服务平台111、网络供应商等提出的外部过滤器或标准。例如,一个外部标准可在所有或所选择的用户和/或位置之间形成双向链路(实质上是穿过地球的隧道)。该隧道例如限制或过滤内容,以致只有特定组的用户(例如,位于第一位置的用户)可观看在第二位置起源的内容。例如,源自纽约的视频内容可被限制为仅由那些位于东京的用户观看。正如所描述的,该限制本质上创建了从东京到纽约的“隧道”,以致在其它位置的用户不能够访问受限的视频内容。因此,UE 101a渲染呈现在所接收的内容列表中指定的内容和位置信息的用户接口(在515)。
图6是根据一个实施例的用于呈现描绘内容的第一人世界视图的用户接口的过程的流程图。在一个实施例中,运行时模块305执行过程600,并例如在如图13所示的包括处理器和存储器的芯片组中实现。过程600假定运行时模块305已经完成用于验证内容项的过程300,并且现在正在确定用于渲染所验证的内容和位置信息的用户接口的类型。
在步骤601,运行时模块确定是否渲染用户接口作为合并了透明效果的增强现实视图或者作为地图高亮和聚集内容位置信息。该确定例如基于可在渲染时被请求的或在用户简档或缺省设置中预先配置的用户偏好。如果选择是呈现增强现实视图(例如,全球视图),则运行时模块305启动UE 101的位置、指向方向和仰角的确定以确定渲染视图的视点(步骤603)。在一个实施例中,视点参数(例如,UE 101的位置、指向方向和仰角)通过将UE 101指向物理世界中的特定位置来确定。更具体地,为了确定UE101被指向哪里,运行时模块305可利用位置模块309、磁力计模块311、加速度计模块313或其组合。在其它实施例中,用户可根据3D环境选择视点。用户可以根据传统的搜索地图或3D地图的方式选择视点(例如,通过选择起始点并穿越地图,或者输入视点的位置坐标,诸如GPS坐标或地址)。
根据所选择的视点,表示与视点对应的位置的增强现实视图或3D模型的图像可以生成或者从缓存器307或内容映射平台103中获取(步骤605)。如前面所指出的,图像可以表示物理环境,其可以使用UE 101的图像获取模块117获取。在另一个实施例中,图像可以表示虚拟3D环境,其中用户在真实世界物理环境中的位置在虚拟3D环境中表示。在该表示中,用户的视点被映射到虚拟3D环境上。另外,混合的物理和虚拟3D环境也可用于向用户呈现导航信息。
然后,运行时模块305可以进一步在增强现实用户接口中渲染或指示一个或多个内容项的位置和可用性信息(步骤607)。应当指出,为了能够同时看见全球效果和内容,所显示的内容的数量可以受限或减少(例如使用可调节的缩放或详细级别),以致内容标签不会遮掩地球。在某些实施例中,当有比可在现有的全球视图用户接口中显示的可用内容多得多的可用内容时,运行时模块305可持续地动画显示内容项,以致新内容保持出现而旧内容消失。该动画过程还使得用户接口对于用户更加有趣并提供世界是具有活动的“活着的”感觉。
此外,由于世界的大规模,精细粒度的距离不容易在所渲染的用户接口中显示或可见。因此,人们和内容的准确位置不太重要,这在共享人员跟踪数据时可防止某些隐私担忧。例如,当从全球渲染增强现实视图时,显示的比例使得运行时模块305能够以城市或地区级别的准确性指示特定位置。因此,大比例的视图限制了位置跟踪数据如何被准确地显示,从而保护那些参与人员跟踪服务的人的隐私。
在某个实施例中,用户可指定用于渲染用户接口的缩放范围或粒度。例如,用户可以选择距离的范围(例如显示比例)或用于确定UE 101的视点(例如位置、指向方向和仰角)的准确度或敏感度的级别。范围选择可使用传统的数字输入或自然语言输入(例如,外部空间、建筑物之上的天空、在地球的另一侧的地面上的天空等)。范围还可以通过基于触摸的用户接口中的缩放控件、或滑块、致动器、旋钮或其它类似用户接口单元指定。另外,用于确定视点的敏感度可以基于缩放自动地调整,从而有利地降低用户的UE 101的指向的天生不稳定性的影响,该天生不稳定性在高级别的缩放中会加剧。随着缩放增加,位置跟踪主体的确切位置可自动被遮掩,以保护在用户接口中显示的位置跟踪主体或其它位置信息的隐私。
缩放级别还影响可在用户接口中显示的内容或其它数据的量。此外,用户可以添加过滤器(例如,基于内容主体、类型等)以选择在用户接口中显示的内容的类型。在一个实施例中,用户还可以定义内容在用户接口中可见的范围,以致用户可例如只看见接近地平线的特定城市周围的内容。另一个例子是定义用于观看城市下的地铁线路的非常小的范围。在再一个实施例中,用户接口可应用类似于照相机自动聚焦的可视化方法,以致在“焦点”下的内容通常被渲染,而视图用户接口的剩余部分被模糊,就好像它在焦点之外一样。这样,用户接口更清楚地呈现视点被指向的内容。随着视点从一个内容项变化到另一个内容项,焦点可以相应地移动。
增强现实用户接口的固有属性是所显示的内容依赖于视点,并且为了观看位于地球上的特定点或内容,用户必须将UE 101指向正确的方向。另外或可选地,用户可以通过输入位置、指向方向和仰角中的至少一个来指定特定视点,而不是手动地指向UE 101。这样,用户可以虚拟地瞄准UE 101,而不是手动指向。根据人工指定的视点,用户接口可例如使用诸如线框渲染、隧道或管道图形单元、或其它表明该表示是基于虚拟视点的指示来渲染以虚拟地描绘场景。为了方便找到特定内容或特征,运行时模块305使用户能够输入搜索标准(例如内容项、人、城市、天气等)并获得找到所搜索的内容项在真实物理世界中所位于的方向的指导。作为例子,该指导可以被表示为增强现实显示中的方向箭头或其它类似指示符,以指示为了发现所搜索的内容项用户应当移动或将UE 101指向的方向。因此,当用户移动UE 101a时,运行时模块305更新用户接口的渲染以反映新视点。
作为增强现实或全球视图用户接口的可选项,运行时模块305可提供内容项及其对应位置的简单直观的地图视图(步骤611)。在该视图中,运行时模块305渲染内容项的图像表示,并根据与每个内容项对应的位置信息将其放置在地图上。如同增强现实视点一样,显示的缩放和详细级别可以改变以确保地图没有被完全遮掩。另外,内容项可以根据数据、用户偏好或其它标准来进行动画模拟以在视图中出现或消失,以进一步降低将要显示的内容的数量。
图7是根据一个实施例的表示应用了透明效果的增强现实视图的图。如图所示,用户701a将用户设备703a指向地球705以观看位于地球的相反一侧的内容项707(例如,袋鼠的位置)的增强现实显示。同样,用户701b将用户设备703b指向地球705以观看在地球705的相反一侧的内容项709(例如,雷雨的位置)。在这两种情况下,增强现实视图通过在各个用户设备703a和703b的图形用户界面中不受任何障碍物阻挡地显示各个内容项707和709的表示来渲染地球705,好像地球705是透明的。如先前所描述的,渲染透明地球705的效果提供了全球内容的唯一且有趣的视图。
图8是根据一个实施例的用于在固定位置锁定增强现实用户接口的过程的流程图。在一个实施例中,运行时模块305执行过程800,并在例如图13所示的包括处理器和存储器的芯片组中实现。过程800假定运行时模块305已经完成用于验证内容项的过程300和用于显示内容的增强现实视图的过程600。
如先前所指出的,增强现实用户接口的固有属性是显示在UE 101的移动和指向之后。然而,在某些情况下(例如当用户已经找到并正在显示喜欢的位置时),用户可能希望“锁定”或固定在特定视点的显示,而无需将UE 101维持在相同的位置。因此,在步骤801,运行时模块从UE 101接收用于在固定视点锁定UE 101的视点参数(例如位置、指向方向和仰角)的输入。该输入可被初始化,例如选择菜单选项或开动物理按钮(例如,图像获取模块117的快门释放)。在一个实施例中,图像获取模块117还可用于“锁定”UE 101的视点,以致即使UE 101被移动或转向,运行时模块305也根据锁定的视点渲染内容(步骤803)。使用照相机作为比喻,这将意味着获取所显示的视图的“活动照片”,由此在锁定的视点中描绘的内容保持更新,即使方向没有改变(步骤805)。这样,用户可以选择喜欢的视点(例如,穿过透明的地球的纽约市的视图),并监控源自锁定的视点中的位置的可用内容的演进的发展。还可以设想用户可存储一个或多个锁定的视点,以用于以后参考或恢复。
图9是根据一个实施例的用于在地图上呈现内容的全球视图的用户接口的图。用户接口900描绘了通过通信网络105可用的内容的地图视图。如图所示,用户接口900包括地图901,其用作用于放置一个或多个内容项903a-903f的图形表示(例如缩略图)的背景。在该例子中,内容项903a-903f已经被内容映射平台103验证为可用于时间段,用作视图的基础。在某些实施例中,用户接口900可被动画模拟以显示内容项903a-903f在所定义的时间段内的可用性信息(例如,表示两小时的时间段内的可用性信息的时间流逝动画)。这样,用户可以观看表示内容项903a-903f随着广播时间表或内容可用性的变化而出现和消失的动画。
另外,虽然地图901被显示缩小到全球比例,但可以设想,地图901可根据用户偏好和所期望的细节级别而放大或缩小。作为例子,当在一个时间有太多要在屏幕上显示的而不遮掩地图901时,用户接口900可以仅显示选择内容项(例如,最流行的内容项)。当用户放大地图901时,其它内容项可以根据例如缩放级别和可用的显示区域来显示。例如,当用户放大到北美洲时,其它新的内容项可被显示,因为其它项可从显示中切掉(例如,在澳大利亚或亚洲的项)。
图10是根据一个实施例的用于更新内容访问信息的用户接口的图。作为图9的图形地图接口的替换,用户接口1000描绘了全球内容的列表视图,其中,所有可用或潜在的内容项在表1001中显示。在该例子中,内容项已经被过滤以只显示那些在因特网上可用的流传输电视广播的内容项。在一个实施例中,表1001用电视频道标识符1003、描述1005、观看次数1007、所添加的数据1009和用户评级信息1011列出内容项。用户接口1000能够通过任意一个可用的描述性列或字段进行分类和显示。
内容列表视图使用户能够快速地观看内容项,例如,当用户想要在列表中添加、删除或修改一个或多个内容项时。如图所示,用户接口1000包括命令按钮1013,用于提交添加新内容项(例如,流传输广播频道)的请求。例如,如果用户发现未列出的频道,则用户可以将该频道提交到内容映射平台103以进行验证并随后分发给其它用户。
图11是根据一个实施例的用于呈现内容的增强现实世界视图的用户接口的图。用户接口1100使用以上参照图6和图7描述的透明效果来描绘内容的增强现实显示。如图所示,用户接口1100被显示在移动设备1101上,其包括用于确定诸如位置、指向方向和仰角的视点参数的传感器。在该实施例中,移动设备1101在非洲的方向上被指向地球。由于视点或视角是穿过地球到达相反表面(例如,实质上从地球内部)的视图,因此,非洲被显示为镜像。
随着移动设备1101在移动,增强现实用户接口显示与基于移动设备1101的视角而在用户接口1100中显示的位置相关联的内容项(例如,内容项1103和1105)。所显示的内容项的数量受到限制以防止遮掩地图。在一个实施例中,内容项可以被动画地模拟以周期性地出现或消失以显示其它内容。该动画还提供更加动态和有趣的显示,其可引起用户对内容的兴趣。另外,方向箭头(例如,箭头1107a和1107b)可指向移动设备1101可被移动以观看其它或相关内容的方向。这些箭头1107a和1107b还可指示满足用户搜索标准的内容项的方向。
在此描述的用于呈现内容的全球视图的过程可有利地通过软件、硬件(例如,通用处理器、数字信号处理(DSP)芯片、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等)、固件或其组合实现。用于执行所描述的功能的这种示例性硬件在下面详细描述。
图12表示可在其上实现本发明的实施例的计算机系统1200。尽管参照特定设备或装置描述计算机系统1200,但可以预期图12内的其它设备或装置(例如网络单元、服务器等)可部署所表示的系统1200的硬件和组件。计算机系统1200被编程(例如,通过计算机程序代码或指令)以呈现在此描述的内容的全球视图,并包括诸如总线1210的通信机制,用于在计算机系统1200的其它内部组件和外部组件之间传送信息。信息(也称为数据)被表示为可测量现象的物理表示,通常是电压,但在其它实施例中包括诸如磁、电磁、压力、化学、生物、分子、原子、亚原子和量子交互的现象。例如,北磁场和南磁场或零和非零电压表示二进制数字(比特)的两个状态(0,1)。其它现象可表示更高基数的数字。测量前多个同时量子状态的叠加表示量子比特(qubit)。一个或多个数字的序列构成数字数据,其用于表示字符的数量或代码。在某些实施例中,称为模拟数据的信息用特定范围内接近连续的可测量值表示。计算机系统1200或它的一部分构成用于执行呈现内容的全球视图的一个或多个步骤的装置。
总线1210包括一个或多个平行的信息导体,以致信息在连接到总线1210的设备中间快速地传送。用于处理信息的一个或多个处理器1202与总线1210连接。
处理器1202对信息执行一组操作,如由与呈现内容的全球视图有关的计算机程序代码所规定的。计算机程序代码是一组指令或语句,其向处理器和/或计算机系统的操作提供指令以执行指定的功能。例如,代码可以用计算机编程语言编写,并被编译成处理器的固有指令组。代码还可以直接使用固有指令组(例如机器语言)编写。这组操作包括从总线1210中取出信息并将信息放置在总线1210上。这组操作通常还包括比较两个或多个信息单元,移动信息单元的位置以及结合两个或多个信息单元,诸如通过像OR、异OR(XOR)和AND的加法操作或乘法操作或逻辑操作。可由处理器执行的这组操作中的每一个操作通过称为指令的信息(诸如一个或多个数字的操作代码)而提供给处理器。将要由处理器1202执行操作序列,诸如操作代码序列,构成处理器指令,也称为计算机系统指令或简单地称为计算机指令。处理器可以被实现为机械、电、磁、光、化学或量子元件,其中可以是单独的或组合。
计算机系统1200还包括连接到总线1210的存储器1204。诸如随机存取存储器(RAM)或其它动态存储设备的存储器1204存储包括用于呈现内容的全球视图的处理器指令的信息。动态存储器允许其中存储的信息被计算机系统1200改变。RAM允许在称为存储器地址的位置处存储的信息单元独立于在邻接地址处的信息而被存储和获取。存储器1204还被处理器1202用于在执行处理器指令期间存储临时值。计算机系统1200还包括只读存储器(ROM)1206或其它静态存储设备,其连接到总线1210,用于存储不会被计算机系统1200改变的静态信息,包括指令。某个存储器包括易失性存储器,其在断电时丢失在其上存储的信息。非易失性(永久性)存储设备1208也连接到总线1210,诸如磁盘、光盘或闪存卡,用于存储即使在计算机系统1200关机或其它断电时也继续存在的信息,包括指令。
包括用于呈现内容的全球视图的指令的信息从外部输入设备1212(诸如包含由人类用户操作的字母数字键的键盘或传感器)提供给总线1210以由处理器使用。传感器检测它周围的情形,并将这些检测转换成用于在计算机系统1200中表示信息的与可测量现象一致的物理表达。其它连接到总线1210的主要用于与人类进行交互的外部设备包括:显示设备1214,诸如阴极射线管(CRT)或液晶显示器(LCD)或等离子屏幕或打印机,用于呈现文本或图像;以及指示设备1216,诸如鼠标或轨迹球或光标方向键或运动传感器,用于控制在显示器1214上呈现的小光标图像的位置,并发布与在显示器1214上呈现的图形单元相关联的命令。在某些实施例中,例如,在计算机系统1200自动执行所有功能而无需人工输入的实施例中,外部输入设备1212、显示设备1214和指示设备1216中的一个或多个可被省略。
在图示的实施例中,专用硬件,诸如专用集成电路(ASIC)1220,被连接到总线1210。专用硬件被配置为足够快地执行未被处理器1202执行的操作,用于特殊目的。专用IC的例子包括用于生成用于显示器1214的图像的图形加速器卡、用于加密和解密通过网络发送的消息的密码板、语音识别、和与特殊外部设备的接口,诸如机器人臂和医疗扫描装置,其重复地执行在硬件中被更高效地实现的某一复杂的操作序列。
计算机系统1200还包括连接到总线1210的通信接口1270的一个或多个实例。通信接口1270提供连接到用自己的处理器运行的多个外部设备的单向或双向通信,诸如打印机、扫描仪和外部磁盘。通常,该连接是使用网络链路1278,其连接到多个具有自己的处理器的外部设备所连接的本地网络1280。例如,通信接口1270可以是个人计算机上的并行端口或串行端口或通用串行总线(USB)端口。在某些实施例中,通信接口1270是集成服务数字网络(ISDN)卡或数字用户线(DSL)卡或电话调制解调器,其向对应类型的电话线路提供信息通信连接。在某些实施例中,通信接口1270是电缆调制解调器,其将总线1210上的信号转换成用于在同轴电缆上的通信连接的信号或用于在光纤电缆上的通信连接的光信号。作为另一个例子,通信接口1270可以是局域网(LAN)卡,以向诸如以太网的兼容LAN提供数据通信连接。无线链路也可被实现。对于无线链路,通信接口1270发送或接收或者既发送又接收携带信息流(诸如数字数据)的电子、声音或电磁信号,包括红外线信号和光信号。例如,在诸如像蜂窝电话的移动电话的无线手持设备中,通信接口1270包括称为无线收发机的无线波段电磁发射机和接收机。在某些实施例中,通信接口1270能够连接到通信网络105以用于呈现内容的全球视图。
在此使用的术语“计算机可读媒体”是指任何参与向处理器1202提供信息(包括用于执行的指令)的媒体。这种媒体可采用许多形式,包括但不限于计算机可读存储媒体(例如非易性失媒体、易失性媒体)和传输媒体。诸如非易失性媒体的非临时性媒体包括例如光盘或磁盘,诸如存储器设备1208。易失性媒体例如包括动态存储器1204。传输媒体例如包括同轴电缆、铜线、光纤电缆和无需线路或电缆而穿过空间的载波,诸如声波和电磁波,包括无线电波、光波和红外线波。信号包括人造瞬态变量,其以振幅、频率、相位、偏振或其它物理属性通过传输媒体传输。计算机可读媒体的普通形式例如包括软盘、硬盘、磁带、任何其它磁媒体、CD-ROM、CDRW、DVD、任何其它光学媒体、打孔卡、纸带、光标板、任何其它具有孔或其它可光学识别的标记的样式的物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储芯片或盒式存储器、载波、或任何计算机可读取的媒体。术语计算机可读存储媒体在这里用于指代除了传输媒体之外的任何计算机可读媒体。
在一个或多个有形媒体中编码的逻辑包括在计算机可读存储媒体和诸如ASIC 1220的专用硬件上的一个或两个处理器指令。
网络链路1278通常使用传输媒体通过一个或多个网络向使用或处理信息的其它设备提供信息通信。例如,网络链路1278可提供通过本地网络1280到达主机计算机1282或因特网服务提供商(ISP)所运营的装置1284的连接。ISP装置1284接着通过其中的公共全球分组交换通信网络(现在通常称为因特网1290)提供数据通信服务。
称为服务器主机1292的连接到因特网的计算机托管响应于通过因特网接收的信息而提供服务的过程。例如,服务器主机1292托管提供表示视频数据的信息以在显示器1214上呈现的过程。可以设想系统1200的组件可被部署在例如主机1282和服务器1292的其它计算机系统内的各种配置中。
本发明的至少某些实施例涉及使用计算机系统1200以实现在此描述的某些或所有技术。根据本发明的一个实施例,这些技术由计算机系统1200执行,以响应处理器1202执行在存储器1204中包含的一个或多个序列的一个或多个处理器指令。这些指令也被称为计算机指令、软件和程序代码,可以从诸如存储器设备1208或网络链路1278的另一个计算机可读媒体读入存储器1204中。在存储器1204中包含的指令序列的执行使处理器1202执行在此描述的一个或多个方法步骤。在可选的实施例中,诸如ASIC 1220的硬件可以被用于代替软件或与软件相结合以实现本发明。因此,除非在此特别指出,否则,本发明的实施例不限于任何特定的硬件和软件的组合。
通过通信接口1270在网络链路1278和其它网络上传输的信号将信息携带到计算机系统1200和从计算机系统1200中携带信息。计算机系统1200可通过网络1280、1290,其中通过网络链路1278和通信接口1270,发送和接收信息,包括程序代码。在使用因特网1290的例子中,服务器主机1292通过因特网1290、ISP装置1284、本地网络1280和通信接口1270发送从计算机1200发送的消息所请求的用于特定应用的程序代码。所接收的代码可在其被接收时由处理器1202执行,或者可存储在存储器1204或存储设备1208或其他非易失性存储器中以用于以后执行,或者是上述两个操作。这样,计算机系统1200可获取采用载波上的信号的形式的应用程序代码。
各种形式的计算机可读媒体可用于将一个或多个序列的指令或数据或两者携带到处理器1202以执行。例如,指令和数据可最初在诸如主机1282的远程计算机的磁盘上携带。远程计算机将指令和数据加载到它的动态存储器中,并使用调制解调器通过电话线路发送指令和数据。计算机系统1200本地的调制解调器接收电话线路上的指令和数据,并使用红外线发射机将指令和数据转换成在用作网络链路1278的红外线载波上的信号。用作通信接口1270的红外线检测器接收在红外线信号中携带的指令和数据,并将表示指令和数据的信息放在总线1210上。总线1210将信息携带到存储器1204,处理器1202从存储器1204中获取指令并使用随指令发送的某些数据执行指令。在存储器1204中接收的指令和数据可以可选地在被处理器1202执行之前或之后存储在存储器设备1208中。
图13表示可实现本发明的实施例的芯片组1300。芯片组1300被编程为呈现在此描述的内容的全球视图,并例如包括合并在一个或多个物理套件(例如芯片)中的参照图12描述的处理器和存储器组件。作为例子,物理套件包括一个或多个材料、组件和/或线路在结构组合件(例如基板)上的布置,以提供一个或多个特性,诸如电子交互的物理强度、大小限制和/或限制。可以设想在某些实施例中,芯片组可以实现在单个芯片中。芯片组1300,或其一部分构成用于执行呈现内容的全球视图的一个或多个步骤的装置。
在一个实施例中,芯片组1300包括诸如总线1301的通信机制,用于在芯片组1300的组件之间传送信息。处理器1303具有总线1301的连接性以执行例如在存储器1305中存储的指令和过程信息。处理器1303可包括一个或多个处理器核,其中每个核被配置为独立地执行。多核处理器能够在单个物理套件中进行多处理。多核处理器的例子包括双核、四核、八核或更多数量的处理器核。可选地或另外,处理器1303可包括一个或多个微处理器,其被配置为通过总线串联以能够独立地执行指令、流水线和多线程。处理器1303还可带有一个或多个专用组件以执行某些处理功能和任务,诸如一个或多个数字信号处理器(DSP)1307或一个或多个专用集成电路(ASIC)1309。DSP 1307通常被配置为独立于处理器1303地实时处理真实世界的信号(例如声音)。同样,ASIC 1309可被配置为执行不可能由通用处理器执行的专用功能。有助于执行在此描述的创造性功能的其它专用组件包括一个或多个现场可编程门阵列(FPGA)(未示出)、一个或多个控制器(未示出)或一个或多个其它专用计算机芯片。
处理器1303和附带组件经由总线1301连接到存储器1305。存储器1305包括动态存储器(例如RAM、磁盘、可写光盘等)和静态存储器(例如ROM、CD-ROM等),用于存储可执行指令,其在被执行时执行在此描述的呈现内容的全球视图的创造性步骤。存储器1305还存储与创造性步骤的执行相关联的数据或者由执行创造性步骤而生成的数据。
图14是根据一个实施例的用于通信的移动终端(例如手持设备)的示例性组件的图,该移动终端能够在图1的系统中运行。在某些实施例中,移动终端1400或其一部分构成用于执行呈现内容的全球视图的一个或多个步骤的装置。一般地,无线接收机通常按照前端和后端特性定义。接收机的前端包括所有射频(RF)电路,而后端包含所有基带处理电路。如在本申请中使用的,术语“电路”是指:(1)仅硬件的实现(诸如仅模拟和/或数字电路的实现);和(2)电路和软件(和/或固件)的组合(诸如,如果应用于特定上下文,则是包括数字信号处理器的处理器、软件和存储器的组合,它们一起工作以使诸如移动设备或服务器的装置执行各种功能)两者。该“电路”的定义适用于本申请中该术语的所有使用,包括在任何权利要求中。作为另一个例子,如在本申请中使用的并如果适用于特定的上下文,则术语“电路”还可以覆盖只有处理器(或多个处理器)和它(或它们)的附带软件/或固件的实现。如果应用于特定的上下文,则术语“电路”还可覆盖例如移动设备中的基带集成电路或应用处理器集成电路或者蜂窝网络设备或其它网络设备中的类似集成电路。
电话的相关内部组件包括主控制单元(MCU)1403、数字信号处理器(DSP)1405、以及包含麦克风增益控制单元和扬声器增益控制单元的接收机/发射机。主显示单元1407向用户提供支持执行或支持呈现内容的全球视图的步骤的各种应用和移动终端功能的显示,其。显示器14包括显示电路,其被配置为显示移动终端(例如移动电话)的用户接口的至少一部分。另外,显示器1407和显示电路被配置为方便用户控制移动终端的至少一些功能。音频功能电路1409包括麦克风1411和放大从麦克风1411输出的语音信号的麦克风放大器。放大后的从麦克风1411输出的语音信号被馈送到编码器/解码器(CODEC)1413。
无线部分1415放大功率并转换频率,以便通过天线1417与包括在移动通信系统中的基站进行通信。功率放大器(PA)1419和发射机/调制器电路可操作地用来自连接到双工器1421或循环器或天线开关的PA 1419的输出来响应MCU 1403,如在本领域已知的。PA 1419还连接到电池接口和功率控制电路1420。
在使用时,移动终端1401的用户对着麦克风1411说话,他或她的语音连同任何所检测的背景噪音被转换成模拟电压。然后,模拟电压通过模数转换器(ADC)1423转换成数字信号。控制单元1403将数字信号路由到DSP 1405用于处理,诸如语音编码、信道编码、加密和交织。在一个实施例中,所处理的语音信号使用诸如全球演进(EDGE)、通用分组无线服务(GPRS)、全球移动通信系统(GSM)、因特网协议多媒体子系统(IMS)、通用移动电信系统(UTMS)等的蜂窝传输协议以及任何其它合适的无线媒体,例如微波访问(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(WiFi)、卫星等由未单独示出的单元进行编码。
然后,编码后的信号被路由到均衡器1425,以补偿在空中传输期间发生的任何频率相关的损失,诸如相位和振幅失真。在补偿了比特流之后,调制器1427将信号与在RF接口1429中产生的RF信号相结合。调制器1427通过频率或相位调制来生成正弦波。为了准备用于传输的信号,上变频器1431将从调制器1427输出的正弦波与合成器1433所生成的另一个正弦波相结合以获得所期望的传输频率。然后,信号通过PA 1419发送以将信号增大到适当的功率水平。在实际系统中,PA 1419担任变量增益放大器,其增益由DSP 1405根据从网络基站接收的信号进行控制。然后,信号在双工器1421内被过滤,并可选择地发送到天线耦合器1435,以匹配电阻以提供最大功率传输。最后,信号通过天线1417发送到本地基站。可提供自动增益控制(AGC)以控制接收机的最后阶段的增益。信号可以从那儿转发到可以是另一个蜂窝电话的远程电话、其它移动设备或连接到公共交换电话网络(PSTN)或其它电话网络的地上通信线。
传输到移动终端1401的语音信号通过天线1417接收,并立即被低噪音放大器(LNA)1437放大。下变频器1439降低载波频率,而解调器1441剥离RF仅留下数字比特流。然后,信号经过均衡器1425,并由DSP 1405处理。数模转换器(DAC)1443转换信号,最终的输出通过扬声器1445传输到用户,所有都由主控制电路(MCU)1403控制,其可被实现为中央处理单元(CPU)(未示出)。
MCU 1403从键盘1447接收各种信号,包括输入信号。键盘1447和/或MCU 1403结合其它用户输入组件(例如,麦克风1411)包括用于管理用户输入的用户接口电路。MCU 1403运行用户接口软件以方便用户控制移动终端1401的至少一些功能,以呈现内容的全球视图。MCU 1403还分别将显示命令和切换命令传送到显示器1407和语音输出切换控制器。进一步地,MCU 1403与DSP 1405交换信息,并可访问可选择地包含的SIM卡1449和存储器1451。此外,MCU 1403执行终端所要求的各种控制功能。DSP 1405可根据实现而对语音信号执行各种传统的数字处理功能的任意一个。另外,DSP 1405根据由麦克风1411检测的信号确定本地环境的背景噪音水平,并将麦克风1411的增益设置到被选择为补偿移动终端1401的用户的自然趋势的水平。
CODEC 1413包括ADC 1423和DAC 1443。存储器1451存储各种数据,包括呼入电话音调数据,并能够存储其它数据,包括例如经由全球因特网接收的音乐数据。软件模块可驻留在RAM存储器、闪速存储器、寄存器或本领域已知的任何其它形式的可写存储媒体中。存储器设备1451可以是但不限于单个存储器、CD、DVD、ROM、RAM、EEPROM、光学存储器、或任何其他能够存储数字数据的非易失性存储媒体。
可选择地包含的SIM卡1449携带例如重要的信息,诸如蜂窝电话号码、提供服务的载波、订阅详情和安全信息。SIM卡1449主要用于在无线网络中识别移动终端1401。卡1449还包含存储器,用于存储个人电号码登记、文本消息和用户专用移动终端设置。
尽管本发明已经结合许多实施例和实现进行了描述,但本发明并不限于此,而是覆盖各种明显的修改和等同配置,它们都落在后附的权利要求的范围内。虽然本发明的特征在权利要求中以某些组合的形式表述,但可以设想这些特征可以采用任何组合和顺序布置。
Claims (28)
1.一种方法,包括:
接收内容的访问地址,所述内容包括位置信息;
通过至少部分地在所述访问地址检测所述内容,确定所述内容的可用性信息;以及
基于所述内容的所述可用性信息,至少部分地在用户设备的用户接口上呈现指示所述位置信息的内容。
2.根据权利要求1所述的方法,还包括:
通过至少部分地以预定时间间隔在所述访问地址检测所述内容,周期性地验证所述内容的所述可用性信息;以及
基于周期性的验证来更新所述内容的所述可用性信息。
3.根据权利要求1或2所述的方法,还包括:
确定所述用户设备的位置、指向方向和仰角;
基于所确定的位置、指向方向和仰角,至少部分地渲染所述用户接口以包括第一人视角;以及
在所述用户接口上指示所述内容的所述位置信息或者指向所述用户接口中所述内容的所述位置信息的方向;
其中,所述用户设备的位置、指向方向和仰角以及对应的用户接口随着所述用户设备的移动而更新。
4.根据权利要求3所述的方法,其中,所述用户接口描绘三维对象,其中,最接近所述用户的表面是透明的,以在所述三维对象的相反表面上显示位置信息。
5.根据权利要求3或4所述的方法,还包括:
从所述用户设备接收用于锁定所述用户设备的位置、指向方向和仰角的输入;
其中,基于所锁定的位置、指向方向和仰角来渲染所述用户接口,并且所述用户设备的移动不会更新所述用户接口。
6.根据权利要求1至5任意一项所述的方法,还包括:
从所述用户设备接收用于指定过去、现在或未来的时间段的输入;
其中,所述内容的所述可用性信息相对于所述时间段而确定。
7.根据权利要求1至6任意一项所述的方法,其中,所述用户接口是地图,其包括基于所述内容的所述位置信息和所述可用性信息的所述内容在所述地图上的图形表示。
8.根据权利要求1至7任意一项所述的方法,其中,所述内容包括直播媒体、所存储的媒体、与媒体相关联的元数据、文本信息、其它用户设备的位置信息、映射数据、地理标记的数据或它们的组合。
9.一种装置,包括:
至少一个处理器;以及
至少一个存储器,包括用于一个或多个程序的计算机程序代码;
其中,所述至少一个存储器和所述计算机程序代码被配置为通过所述至少一个处理器使得所述装置至少执行:
接收内容的访问地址,所述内容包括位置信息;
通过至少部分地在所述访问地址检测所述内容,确定所述内容的可用性信息;以及
基于所述内容的所述可用性信息,至少部分地在用户设备的用户接口上呈现指示所述位置信息的内容。
10.根据权利要求9所述的装置,其中,所述装置还被配置为:
通过至少部分地以预定时间间隔在所述访问地址检测所述内容,周期性地验证所述内容的可用性信息;以及
基于周期性的验证来更新所述内容的所述可用性信息。
11.根据权利要求9或10所述的装置,其中,所述装置还被配置为:
确定所述用户设备的位置、指向方向和仰角;
基于所确定的位置、指向方向和仰角,至少部分地渲染所述用户接口以包括第一人视角;以及
在所述用户接口上指示所述内容的所述位置信息或指向所述用户接口中所述内容的所述位置信息的方向;
其中,所述用户设备的位置、指向方向和仰角以及对应的用户接口随着用户设备的移动而更新。
12.根据权利要求11所述的装置,其中,所述用户接口描绘三维对象,其中,最接近所述用户的表面是透明的,以在所述三维对象的相反表面上显示所述位置信息。
13.根据权利要求11或12所述的装置,其中,所述装置还被配置为:
从所述用户设备接收用于锁定所述用户设备的位置、指向方向和仰角的输入;
其中,基于所锁定的位置、指向方向和仰角渲染所述用户接口,并且所述用户设备的移动不会更新所述用户接口。
14.根据权利要求9至13任意一项所述的装置,其中,所述装置还被配置为:
从所述用户设备接收用于指定过去、现在或未来的时间段的输入;
其中,所述内容的所述可用性信息相对于所述时间段确定。
15.根据权利要求9至14任意一项所述的装置,其中,所述用户接口是地图,其包括基于所述内容的所述位置信息和所述可用性信息的所述内容在所述地图上的图形表示。
16.根据权利要求9至15任意一项所述的装置,其中,所述内容包括直播媒体、所存储的媒体、与媒体相关联的元数据、文本信息、其它用户设备的位置信息、映射数据、地理标记的数据或它们的组合。
17.根据权利要求9至16任意一项所述的装置,其中,所述装置是移动电话,其还包括:
用户接口电路和用户接口软件,其被配置为通过使用显示器来方便用户控制所述移动电话的至少某些功能,并被配置为响应用户输入;以及
显示器和显示电路,其被配置为显示所述移动电话的用户接口的至少一部分,所述显示器和显示电路被配置为方便用户控制所述移动电话的至少某些功能。
18.一种计算机可读存储媒体,其携带一个或多个序列的一个或多个指令,当所述指令被一个或多个处理器执行时,使得装置至少执行以下步骤:
接收内容的访问地址,所述内容包括位置信息;
通过至少部分地在所述访问地址检测所述内容,确定所述内容的可用性信息;以及
基于所述内容的所述可用性信息,至少部分地在用户设备的用户接口上呈现指示所述位置信息的内容。
19.根据权利要求18所述的计算机可读存储媒体,其中,使得所述装置还执行:
通过至少部分地以预定时间间隔在所述访问地址检测所述内容,周期性地验证所述内容的可用性信息;以及
基于周期性的验证来更新所述内容的所述可用性信息。
20.根据权利要求18或19所述的计算机可读存储媒体,其中,使得所述装置还执行:
确定所述用户设备的位置、指向方向和仰角;
基于所确定的位置、指向方向和仰角,至少部分地渲染所述用户接口以包括第一人视角;以及
在所述用户接口上指示所述内容的所述位置信息或指向所述用户接口中所述内容的所述位置信息的方向;
其中,所述用户设备的位置、指向方向和仰角以及对应的用户接口随着用户设备的移动而更新。
21.根据权利要求9至17任意一项所述的装置,其中,所述装置是移动电话,其还包括:
用户接口电路和用户接口软件,其被配置为通过使用显示器来方便用户控制所述移动电话的至少某些功能,并被配置为响应用户输入;以及
显示器和显示电路,其被配置为显示所述移动电话的用户接口的至少一部分,所述显示器和显示电路被配置为方便用户控制所述移动电话的至少某些功能。
22.一种计算机可读存储媒体,其携带一个或多个序列的一个或多个指令,当所述指令被一个或多个处理器执行时,使得装置至少执行权利要求1至8任意一项所述的方法。
23.一种计算机程序产品,包括一个或多个序列的一个或多个指令,当所述指令被一个或多个处理器执行时,使得装置至少执行权利要求1至8任意一项所述的方法的步骤。
24.一种装置,包括用于执行权利要求1至8任意一项所述的方法的装置。
25.根据权利要求24所述的装置,其中,所述装置是移动电话,其还包括:
用户接口电路和用户接口软件,其被配置为通过使用显示器来方便用户控制所述移动电话的至少某些功能,并被配置为响应用户输入;以及
显示器和显示电路,其被配置为显示所述移动电话的用户接口的至少一部分,所述显示器和显示电路被配置为方便用户控制所述移动电话的至少某些功能。
26.一种方法,包括:方便访问至少一个接口,所述至少一个接口被配置为允许访问至少一个服务,所述至少一个服务被配置为执行权利要求1至8任意一项所述的方法。
27.一种方法,包括:方便创建和/或方便修改至少一个设备用户接口单元和/或功能;
所述至少一个设备用户接口单元和/或功能至少部分地基于:
由权利要求1至8任意一项的方法产生的数据和/或信息;和/或
由权利要求1至8任意一项的方法产生的至少一个信号。
28.一种方法,包括:
方便(1)数据和/或(2)信息和/或(3)至少一个信号的处理和/或处理(1)数据和/或(2)信息和/或(3)至少一个信号;
所述(1)数据和/或(2)信息和/或(3)至少一个信号至少部分地基于权利要求1至8任意一项的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/636,262 US8543917B2 (en) | 2009-12-11 | 2009-12-11 | Method and apparatus for presenting a first-person world view of content |
US12/636,262 | 2009-12-11 | ||
PCT/FI2010/050960 WO2011070228A1 (en) | 2009-12-11 | 2010-11-25 | Method and apparatus for presenting a first-person world view of content |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102754097A true CN102754097A (zh) | 2012-10-24 |
CN102754097B CN102754097B (zh) | 2015-02-25 |
Family
ID=44144320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080056025.3A Active CN102754097B (zh) | 2009-12-11 | 2010-11-25 | 用于呈现内容的第一人世界视图的方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8543917B2 (zh) |
EP (1) | EP2510465A4 (zh) |
CN (1) | CN102754097B (zh) |
WO (1) | WO2011070228A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103164518A (zh) * | 2013-03-06 | 2013-06-19 | 杭州九树网络科技有限公司 | 移动终端增强现实应用系统及方法 |
CN104581629A (zh) * | 2014-12-16 | 2015-04-29 | 大唐移动通信设备有限公司 | 实现gis地理位置共享的方法及用户设备、服务器 |
CN106874274A (zh) * | 2015-12-10 | 2017-06-20 | 金聖桭 | 通过识别标识牌位置提供各种信息的信标装置与方法以及操作方法 |
CN111449681A (zh) * | 2020-04-08 | 2020-07-28 | 深圳开立生物医疗科技股份有限公司 | 一种剪切波成像方法、装置、设备及可读存储介质 |
Families Citing this family (199)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US10002189B2 (en) | 2007-12-20 | 2018-06-19 | Apple Inc. | Method and apparatus for searching using an active ontology |
US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US9049543B2 (en) * | 2009-04-29 | 2015-06-02 | Blackberry Limited | Method and apparatus for location notification using location context information |
US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
US20120311585A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Organizing task items that represent tasks to perform |
US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
US11113299B2 (en) | 2009-12-01 | 2021-09-07 | Apple Inc. | System and method for metadata transfer among search entities |
US11122009B2 (en) * | 2009-12-01 | 2021-09-14 | Apple Inc. | Systems and methods for identifying geographic locations of social media content collected over social networks |
US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
US8275375B2 (en) * | 2010-03-25 | 2012-09-25 | Jong Hyup Lee | Data integration for wireless network systems |
US8878773B1 (en) | 2010-05-24 | 2014-11-04 | Amazon Technologies, Inc. | Determining relative motion as input |
US8799411B2 (en) * | 2010-05-28 | 2014-08-05 | Arvato Digital Services Canada, Inc. | Method and apparatus for providing enhanced streaming content delivery with multi-archive support using secure download manager and content-indifferent decoding |
US9195774B2 (en) * | 2010-09-17 | 2015-11-24 | Kontera Technologies, Inc. | Methods and systems for augmenting content displayed on a mobile device |
US20120210250A1 (en) * | 2010-10-12 | 2012-08-16 | Waldeck Technology, Llc | Obtaining and displaying relevant status updates for presentation during playback of a media content stream based on crowds |
US20120174038A1 (en) * | 2011-01-05 | 2012-07-05 | Disney Enterprises, Inc. | System and method enabling content navigation and selection using an interactive virtual sphere |
KR20120095247A (ko) * | 2011-02-18 | 2012-08-28 | 삼성전자주식회사 | 모바일 디바이스 및 그 정보 표시 방법 |
US20120221552A1 (en) * | 2011-02-28 | 2012-08-30 | Nokia Corporation | Method and apparatus for providing an active search user interface element |
US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
US8643703B1 (en) | 2011-03-30 | 2014-02-04 | Amazon Technologies, Inc. | Viewer tracking image display |
CN103493103A (zh) * | 2011-04-08 | 2014-01-01 | 皇家飞利浦有限公司 | 图像处理系统和方法 |
US9449427B1 (en) | 2011-05-13 | 2016-09-20 | Amazon Technologies, Inc. | Intensity modeling for rendering realistic images |
US9146654B2 (en) * | 2011-05-25 | 2015-09-29 | International Business Machines Corporation | Movement reduction when scrolling for item selection during direct manipulation |
US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
US9552376B2 (en) | 2011-06-09 | 2017-01-24 | MemoryWeb, LLC | Method and apparatus for managing digital files |
US20130007634A1 (en) * | 2011-06-30 | 2013-01-03 | International Business Machines Corporation | Social artifact prioritization based on a global view of user collaboration |
US9041734B2 (en) * | 2011-07-12 | 2015-05-26 | Amazon Technologies, Inc. | Simulating three-dimensional features |
US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
USD747329S1 (en) * | 2011-09-21 | 2016-01-12 | Facebook, Inc. | Display panel of a programmed computer system with a graphical user interface |
USD834036S1 (en) * | 2011-09-21 | 2018-11-20 | Facebook, Inc. | Display panel of a programmed computer system with a graphical user interface |
US9852135B1 (en) | 2011-11-29 | 2017-12-26 | Amazon Technologies, Inc. | Context-aware caching |
US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
US20130346068A1 (en) * | 2012-06-25 | 2013-12-26 | Apple Inc. | Voice-Based Image Tagging and Searching |
US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
CN103578141A (zh) * | 2012-08-06 | 2014-02-12 | 北京图盟科技有限公司 | 基于三维地图系统的增强现实实现方法及装置 |
US8892360B2 (en) * | 2012-09-13 | 2014-11-18 | Mitac International Corp. | Method of generating a suggested navigation route based on touch input received from a user and related portable electronic device |
US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
US20140168258A1 (en) * | 2012-12-13 | 2014-06-19 | David Alexander Dearman | Method and apparatus for augmenting an image of a location with a representation of a transient object |
US10199051B2 (en) | 2013-02-07 | 2019-02-05 | Apple Inc. | Voice trigger for a digital assistant |
US20140245369A1 (en) * | 2013-02-26 | 2014-08-28 | Splenvid, Inc. | Automated movie compilation system |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
CN110442699A (zh) | 2013-06-09 | 2019-11-12 | 苹果公司 | 操作数字助理的方法、计算机可读介质、电子设备和系统 |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
US9269012B2 (en) | 2013-08-22 | 2016-02-23 | Amazon Technologies, Inc. | Multi-tracker object tracking |
US10055013B2 (en) | 2013-09-17 | 2018-08-21 | Amazon Technologies, Inc. | Dynamic object tracking for user interfaces |
US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
US9843642B2 (en) * | 2014-01-28 | 2017-12-12 | Dolby International Ab | Geo-referencing media content |
US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
EP3480811A1 (en) | 2014-05-30 | 2019-05-08 | Apple Inc. | Multi-command single utterance input method |
US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9857869B1 (en) | 2014-06-17 | 2018-01-02 | Amazon Technologies, Inc. | Data optimization |
US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
WO2017035033A1 (en) * | 2015-08-21 | 2017-03-02 | Bubble Llc | System and method for presenting an object |
US10402209B2 (en) * | 2015-08-21 | 2019-09-03 | Bubble Llc | System and method for presenting an object |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
DK179309B1 (en) | 2016-06-09 | 2018-04-23 | Apple Inc | Intelligent automated assistant in a home environment |
US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
US10867445B1 (en) * | 2016-11-16 | 2020-12-15 | Amazon Technologies, Inc. | Content segmentation and navigation |
US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
US10678842B2 (en) | 2017-03-21 | 2020-06-09 | EarthX, Inc. | Geostory method and apparatus |
US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770428A1 (en) | 2017-05-12 | 2019-02-18 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
US10813169B2 (en) | 2018-03-22 | 2020-10-20 | GoTenna, Inc. | Mesh network deployment kit |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
US11076039B2 (en) | 2018-06-03 | 2021-07-27 | Apple Inc. | Accelerated task performance |
US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
DK201970510A1 (en) | 2019-05-31 | 2021-02-11 | Apple Inc | Voice identification in digital assistant systems |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
WO2021056255A1 (en) | 2019-09-25 | 2021-04-01 | Apple Inc. | Text detection using global geometry estimators |
US11043220B1 (en) | 2020-05-11 | 2021-06-22 | Apple Inc. | Digital assistant hardware abstraction |
CN111625099B (zh) * | 2020-06-02 | 2024-04-16 | 上海商汤智能科技有限公司 | 一种动画展示控制方法及装置 |
USD991255S1 (en) | 2021-05-17 | 2023-07-04 | Uavpatent Corp. | Headset |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6037936A (en) * | 1993-09-10 | 2000-03-14 | Criticom Corp. | Computer vision system with a graphic user interface and remote camera control |
EP1274264A1 (en) * | 2001-07-03 | 2003-01-08 | Nortel Networks Limited | Location-based content delivery |
US20030184594A1 (en) * | 2002-03-25 | 2003-10-02 | John Ellenby | Apparatus and methods for interfacing with remote addressing systems |
US20080069404A1 (en) * | 2006-09-15 | 2008-03-20 | Samsung Electronics Co., Ltd. | Method, system, and medium for indexing image object |
Family Cites Families (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2609744B2 (ja) * | 1989-07-14 | 1997-05-14 | 株式会社日立製作所 | 画像表示方法及び画像表示装置 |
US5790121A (en) * | 1996-09-06 | 1998-08-04 | Sklar; Peter | Clustering user interface |
JP3547947B2 (ja) * | 1997-08-11 | 2004-07-28 | アルパイン株式会社 | ナビゲーション装置における所在階数表示方法 |
US6208353B1 (en) * | 1997-09-05 | 2001-03-27 | ECOLE POLYTECHNIQUE FEDéRALE DE LAUSANNE | Automated cartographic annotation of digital images |
US6215498B1 (en) * | 1998-09-10 | 2001-04-10 | Lionhearth Technologies, Inc. | Virtual command post |
US6529900B1 (en) * | 1999-01-14 | 2003-03-04 | International Business Machines Corporation | Method and apparatus for data visualization |
US6868169B2 (en) * | 2001-01-24 | 2005-03-15 | Hewlett-Packard Development Company, L.P. | System and method for geographical indexing of images |
US7146574B2 (en) * | 2001-12-21 | 2006-12-05 | Microsoft Corporation | Systems and methods for interfacing with digital history data |
DE10246787A1 (de) * | 2002-10-08 | 2004-04-22 | Bosch Rexroth Ag | Druckbegrenzungsventil |
US7353457B2 (en) | 2003-06-30 | 2008-04-01 | Sap Ag | Graphical access to data objects |
JP3972366B2 (ja) * | 2003-09-26 | 2007-09-05 | マツダ株式会社 | 車両用情報提供装置 |
US6990637B2 (en) * | 2003-10-23 | 2006-01-24 | Microsoft Corporation | Graphical user interface for 3-dimensional view of a data collection based on an attribute of the data |
JP4208726B2 (ja) * | 2004-01-14 | 2009-01-14 | キヤノン株式会社 | 画像表示装置、画像表示方法および画像表示プログラム |
US7672677B2 (en) * | 2004-01-16 | 2010-03-02 | Compasscom Software Corporation | Method and system to transfer and to display location information about an object |
WO2005114501A1 (en) | 2004-04-26 | 2005-12-01 | Pjm Interconnection, Llc | Systems and methods for analysis of a commodity transmission network |
US7212216B2 (en) * | 2005-06-29 | 2007-05-01 | Honeywell International, Inc. | Perspective view primary flight display with terrain-tracing lines and method |
IL169934A (en) * | 2005-07-27 | 2013-02-28 | Rafael Advanced Defense Sys | Real-time geographic information system and method |
US7755635B2 (en) * | 2006-02-27 | 2010-07-13 | Benman William J | System and method for combining satellite imagery with virtual imagery |
FI20060470A0 (fi) * | 2006-05-12 | 2006-05-12 | Nokia Corp | Orientaatioperusteinen viestinhaku |
US8453060B2 (en) * | 2006-08-25 | 2013-05-28 | Microsoft Corporation | Panoramic ring user interface |
JP4870546B2 (ja) * | 2006-12-27 | 2012-02-08 | 株式会社岩根研究所 | レイヤー生成・選択機能を備えたcvタグ映像表示装置 |
US20090262074A1 (en) * | 2007-01-05 | 2009-10-22 | Invensense Inc. | Controlling and accessing content using motion processing on mobile devices |
US8141424B2 (en) | 2008-09-12 | 2012-03-27 | Invensense, Inc. | Low inertia frame for detecting coriolis acceleration |
US20100071467A1 (en) | 2008-09-24 | 2010-03-25 | Invensense | Integrated multiaxis motion sensor |
US7796872B2 (en) | 2007-01-05 | 2010-09-14 | Invensense, Inc. | Method and apparatus for producing a sharp image from a handheld device containing a gyroscope |
US7934423B2 (en) | 2007-12-10 | 2011-05-03 | Invensense, Inc. | Vertically integrated 3-axis MEMS angular accelerometer with integrated electronics |
US8462109B2 (en) | 2007-01-05 | 2013-06-11 | Invensense, Inc. | Controlling and accessing content using motion processing on mobile devices |
US8250921B2 (en) | 2007-07-06 | 2012-08-28 | Invensense, Inc. | Integrated motion processing unit (MPU) with MEMS inertial sensing and embedded digital electronics |
US8952832B2 (en) | 2008-01-18 | 2015-02-10 | Invensense, Inc. | Interfacing application programs and motion sensors of a device |
US20090265671A1 (en) | 2008-04-21 | 2009-10-22 | Invensense | Mobile devices with motion gesture recognition |
US8047075B2 (en) | 2007-06-21 | 2011-11-01 | Invensense, Inc. | Vertically integrated 3-axis MEMS accelerometer with electronics |
EP1956811A3 (en) * | 2007-02-06 | 2012-02-01 | LG Electronics Inc. | Mobile terminal and world time display method thereof |
US20080216009A1 (en) | 2007-03-02 | 2008-09-04 | Paul Drallos | Virtual Library File System |
US20080268876A1 (en) | 2007-04-24 | 2008-10-30 | Natasha Gelfand | Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities |
US8204684B2 (en) * | 2007-06-28 | 2012-06-19 | Apple Inc. | Adaptive mobile device navigation |
US9111285B2 (en) | 2007-08-27 | 2015-08-18 | Qurio Holdings, Inc. | System and method for representing content, user presence and interaction within virtual world advertising environments |
US9968850B2 (en) | 2007-09-17 | 2018-05-15 | Disney Enterprises, Inc. | System for providing virtual spaces for access by users |
US7805246B2 (en) * | 2007-10-25 | 2010-09-28 | Microsoft Corporation | View-independent tagging of geospatial entities in images |
WO2009120303A1 (en) * | 2008-03-24 | 2009-10-01 | Google Inc. | Panoramic images within driving directions |
US9403087B2 (en) | 2008-06-09 | 2016-08-02 | Disney Enterprises, Inc. | System and method of providing access to virtual spaces that are associated with physical analogues in the real world |
US8311556B2 (en) * | 2009-01-22 | 2012-11-13 | Htc Corporation | Method and system for managing images and geographic location data in a mobile device |
US9454847B2 (en) * | 2009-02-24 | 2016-09-27 | Google Inc. | System and method of indicating transition between street level images |
-
2009
- 2009-12-11 US US12/636,262 patent/US8543917B2/en active Active
-
2010
- 2010-11-25 CN CN201080056025.3A patent/CN102754097B/zh active Active
- 2010-11-25 EP EP10835546.2A patent/EP2510465A4/en not_active Ceased
- 2010-11-25 WO PCT/FI2010/050960 patent/WO2011070228A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6037936A (en) * | 1993-09-10 | 2000-03-14 | Criticom Corp. | Computer vision system with a graphic user interface and remote camera control |
EP1274264A1 (en) * | 2001-07-03 | 2003-01-08 | Nortel Networks Limited | Location-based content delivery |
US20030184594A1 (en) * | 2002-03-25 | 2003-10-02 | John Ellenby | Apparatus and methods for interfacing with remote addressing systems |
US20080069404A1 (en) * | 2006-09-15 | 2008-03-20 | Samsung Electronics Co., Ltd. | Method, system, and medium for indexing image object |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103164518A (zh) * | 2013-03-06 | 2013-06-19 | 杭州九树网络科技有限公司 | 移动终端增强现实应用系统及方法 |
CN104581629A (zh) * | 2014-12-16 | 2015-04-29 | 大唐移动通信设备有限公司 | 实现gis地理位置共享的方法及用户设备、服务器 |
CN104581629B (zh) * | 2014-12-16 | 2018-08-07 | 大唐移动通信设备有限公司 | 实现gis地理位置共享的方法及用户设备、服务器 |
CN106874274A (zh) * | 2015-12-10 | 2017-06-20 | 金聖桭 | 通过识别标识牌位置提供各种信息的信标装置与方法以及操作方法 |
CN111449681A (zh) * | 2020-04-08 | 2020-07-28 | 深圳开立生物医疗科技股份有限公司 | 一种剪切波成像方法、装置、设备及可读存储介质 |
CN111449681B (zh) * | 2020-04-08 | 2023-09-08 | 深圳开立生物医疗科技股份有限公司 | 一种剪切波成像方法、装置、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP2510465A4 (en) | 2013-10-09 |
US8543917B2 (en) | 2013-09-24 |
CN102754097B (zh) | 2015-02-25 |
WO2011070228A1 (en) | 2011-06-16 |
EP2510465A1 (en) | 2012-10-17 |
US20110145718A1 (en) | 2011-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102754097B (zh) | 用于呈现内容的第一人世界视图的方法和装置 | |
US8812990B2 (en) | Method and apparatus for presenting a first person world view of content | |
EP1987683B1 (en) | User-defined private maps | |
US6604049B2 (en) | Spatial information using system, system for obtaining information, and server system | |
US8139514B2 (en) | Method and system for communicating with multiple users via a map over the internet | |
US20120221552A1 (en) | Method and apparatus for providing an active search user interface element | |
CN103443589A (zh) | 用于确定位置偏移信息的方法和装置 | |
CN103003786A (zh) | 用于为基于位置的服务渲染具有主视图部分和预览部分的用户界面的方法和装置 | |
US20210056762A1 (en) | Design and generation of augmented reality experiences for structured distribution of content based on location-based triggers | |
CN102985901A (zh) | 用于为移动设备上基于位置的服务渲染对象的立体图及与其相关的内容的方法和装置 | |
US20100191462A1 (en) | Electronic guide system, contents server for electronic guide system, portable electronic guide device, and information processing method for electronic guide system | |
CN103119544A (zh) | 展现基于位置的内容的方法和装置 | |
US20070083329A1 (en) | Location-based interactive web-based multi-user community site | |
CN103502982A (zh) | 用于在基于位置的用户接口中显示交互式预览信息的方法和装置 | |
CN103262125A (zh) | 用于注解兴趣点信息的方法和装置 | |
CN103003847A (zh) | 用于渲染基于位置的用户界面的方法和装置 | |
CN103857989A (zh) | 用于在活动用户接口元素中呈现搜索结果的方法和装置 | |
CN102687539A (zh) | 用于通信的定向动画 | |
CN105009114B (zh) | 预测性地呈现搜索能力 | |
EP3388958B1 (en) | Method and system for managing viewability of location-based spatial object | |
JP4505465B2 (ja) | サービス情報提供方法 | |
CN101415015A (zh) | 提供终端使用者内容的导航系统及架构 | |
CN101413802A (zh) | 提供终端使用者内容的导航系统及架构 | |
Al-Omari et al. | Smart tourism and location-based services architectural model | |
CN104322080A (zh) | 用于提供位置信息的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20160113 Address after: Espoo, Finland Patentee after: Technology Co., Ltd. of Nokia Address before: Espoo, Finland Patentee before: Nokia Oyj |