CN103262125B - 用于注解兴趣点信息的方法和装置 - Google Patents

用于注解兴趣点信息的方法和装置 Download PDF

Info

Publication number
CN103262125B
CN103262125B CN201180060949.5A CN201180060949A CN103262125B CN 103262125 B CN103262125 B CN 103262125B CN 201180060949 A CN201180060949 A CN 201180060949A CN 103262125 B CN103262125 B CN 103262125B
Authority
CN
China
Prior art keywords
information
interest
divisions
poi
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180060949.5A
Other languages
English (en)
Other versions
CN103262125A (zh
Inventor
J·乌斯塔罗
J·阿拉斯沃里
K·罗伊梅拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN103262125A publication Critical patent/CN103262125A/zh
Application granted granted Critical
Publication of CN103262125B publication Critical patent/CN103262125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047Optimisation of routes or paths, e.g. travelling salesman problem
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Abstract

提供一种对结构注解兴趣点信息的方法。确定至少一个结构的一个或多个表示。至少部分基于一个或多个表示的一个或多个特征确定至少一个结构的一个或多个划分。确定与至少一个结构关联的一个或多个兴趣点。确定至少部分基于一个或多个划分渲染一个或多个兴趣点以用于呈现。这些划分可以基于结构的平面图。本发明可用于移动设备中的增强现实导航或地图绘制应用中。

Description

用于注解兴趣点信息的方法和装置
背景技术
服务提供商和设备制造商(例如,无线、蜂窝等)不断受到挑战,以通过例如提供有竞争力的网络服务向消费者传递价值和便利。一个感兴趣的区域是基于位置的服务(比如,导航服务,绘图服务,增强现实应用等),这种服务目前在流行性,功能性,以及内容上均有较大提高。增强现实和混合现实应用能够让用户实时看到融合了虚拟对象的物理世界的视图。绘图应用进一步使得这种虚拟对象注解到位置信息。然而,近来,这种注解被粗糙的呈现给用户(例如,基于地址)。这样,服务提供商和制造商面临明显的技术挑战,以向用户更有用的呈现位置信息的注解。
发明内容
因此,需要一种基于对结构的划分,注解兴趣点信息的方法。
根据一个实施例,一种方法包括确定至少一个结构的一个或多个表示。所述方法还包括,至少部分基于一个或多个表示的一个或多个特征,确定至少一个结构的一个或多个划分。所述方法进一步包括确定与至少一个结构关联的一个或多个兴趣点。所述方法还包括确定至少部分基于一个或多个划分,渲染一个或多个兴趣点以用于呈现。
根据另一实施例,一种装置包括至少一个处理器和包括计算机程序代码的至少一个存储器,所述至少一个存储器和所述计算机程序代码被配置成使用所述至少一个处理器至少部分地使得所述装置确定至少一个结构的一个或多个表示。还使得所述装置至少部分基于一个或多个表示的一个或多个特征,确定至少一个结构的一个或多个划分。进一步使得所述装置确定与至少一个结构关联的一个或多个兴趣点。还使得所述装置确定至少部分基于一个或多个划分,渲染一个或多个兴趣点以用于呈现。
根据另一实施例,一种计算机可读存储介质承载一个或多个指令的一个或多个序列,当由一个或多个处理器执行时,其至少部分地使得装置确定至少一个结构的一个或多个表示。还使得所述装置至少部分基于一个或多个表示的一个或多个特征,确定至少一个结构的一个或多个划分。进一步使得所述装置确定与至少一个结构关联的一个或多个兴趣点。还使得所述装置确定至少部分基于一个或多个划分,渲染一个或多个兴趣点以用于呈现。
根据另一实施例,一种装置包括用于确定至少一个结构的一个或多个表示的部件。所述方法还包括,用于至少部分基于一个或多个表示的一个或多个特征,确定至少一个结构的一个或多个划分的部件。所述方法进一步包括用于确定与至少一个结构关联的一个或多个兴趣点的部件。所述方法还包括用于确定至少部分基于一个或多个划分,渲染一个或多个兴趣点以用于呈现的部件。
通过简单地示出多个特定实施例和实现方式,包括预期用于执行本发明的最佳模式,从下面的详细描述可容易地理解本发明的其它方面、特征和优势。本发明还可以有其它和不同的实施例,在不背离本发明的精神和范围的情况下,可以在各个明显的方面修改其不同细节。相应地,附图和描述应视为说明性的,而非限制性的。
附图说明
通过示例但非限制的方式示出本发明的实施例,在附图中:
图1是根据一个实施例,能够基于结构的划分,渲染兴趣点信息的系统的示意图;
图2是根据一个实施例的用户设备的组件的示意图;
图3是根据一个实施例,基于结构的划分,渲染兴趣点信息的过程的流程图;
图4A-4B是根据各种实施例在图3的过程中使用的用户界面的示意图;
图5是可用于实现本发明的实施例的硬件的示意图;
图6是可用于实现本发明的实施例的芯片集的示意图;以及
图7是可用于实现本发明的实施例的移动终端(例如,手持设备)的示意图。
具体实施方式
公开了基于结构的划分,渲染兴趣点信息的方法、装置和计算机程序的示例。在下面的描述中,为了说明的目的,列举了许多特定细节以提供对本发明的实施例的全面理解。然而,本领域技术人员显而易见的是,本发明的实施例可以在没有这些特定细节或具有等同配置的情况下实现。在其他实例中,以框图形式示出了已知的结构和设备以避免不必要地模糊本发明的实施例。
图1是根据一个实施例能够基于结构点划分,渲染兴趣点信息的系统的示意图。应注意,如今移动设备和计算设备正越来越普遍,使用这些设备提供了许多服务。这些服务可以包括增强现实服务(AR)、混合现实(AR)以及其他基于位置的服务和应用。AR允许用户对真实世界的视图与附加视觉信息重叠。MR允许真实和虚拟世界的融合产生可视化和新的环境。在MR中,物理和数字对象可以共同存在并且实时交互。因此,MR可以是现实、AR、虚拟现实的混合或其组合。尽管关于AR描述了各种实施例,可设想此处描述的方法可用于其它用户界面情况,诸如MR、虚拟现实、绘图应用、基于位置的服务应用(例如,本地POI搜索)等。
基于位置的服务和应用可用于呈现具有注解的内容的一个或多个图像(例如,基于AR、MR等)。传统的系统依赖于用于创建和呈现兴趣点(POI)的二维动态。然而,人们是以至少三维(3D)来看世界的(例如,建筑物具有高度和深度)。例如,摩天大楼可以提供许多不同的服务和跨越多个楼层的企业。然而,由于用于示出这样的POI的系统的二维功能性,通常没给用户能够区分与POI相关联的信息的途径。例如,POI的垂直间距的缺乏导致从其它POI识别一个POI的挑战。
为了解决这个问题,图1的系统100引入了基于划分渲染兴趣点信息的能力。在一些实施例中,划分是可用于展开信息的间距。例如,一个或多个水平划分可用于垂直地分隔与结构(例如,建筑物)关联的POI,或者垂直划分可用于水平地分隔POI。此外,垂直划分、水平划分和/或不规则(例如,弧形的)划分的组合可用于展开POI信息。尽管关于水平划分描述了各个实施例,但可以设想此处描述的方法可用于其他类型的划分。可从一个或多个源检测这些划分(例如,基于一个或多个图像、示意数据等的分析)。此外,划分可与与POI关联的信息进行比较。该比较可用于生成将呈现在用户设备(UE)101a-101n的一个或多个图像(例如,流相机馈送)上的POI的表示。
UE101可经由通信网络105与位置服务平台103通信,以利用世界数据107来生成并向UE101的用户呈现基于位置的信息。在UE101上执行的诸如绘图应用、导航应用、AR应用等的应用109可用于处理世界数据107并将世界数据(例如,全景图像、POI信息等)呈现给用户。可使用一个或多个计算机或服务器,例如使用图6中描述的芯片集来实现位置服务平台103。此外,位置服务平台103可包括一个或多个平台,并且可由一个或多个服务提供商运行。
UE101的数据采集模块111可收集位置信息(例如,基于一个或多个GPS卫星113的全球定位系统(GPS)信息、辅助GPS(A-GPS)、原点小区信息等)、方向信息(例如,磁力计信息、加速计信息等)、其组合等以确定在从位置服务平台103请求世界数据107中使用的信息。在一些实施例中,世界数据107或世界数据107的子集可存储在UE101上。世界数据107可以包括地图信息。地图信息可以包括地图、卫星图像、街道和路径信息、诸如POI信息的条目信息、与地图、对象及结构(其与地图关联)关联的标志信息、关于人和人的位置的信息、与该信息关联的坐标信息等或者其组合。条目可以是可与位置关联的虚拟对象(例如,图像、音频、视频、图标、广告等)或对象(例如,物理对象的表示)。此外,世界数据107可包括关于一个或多个对象或结构的3D细节。在一些实施例中,结构是可与物理对象(例如,楼宇、桥梁或其他建筑物)相关的对象。附加地可以划分结构以展开信息。划分信息可以被预处理并存储在世界数据107中或者如下面详细描述的在UE101处进行处理。存储在世界数据107中的3D数据可用于生成包括在坐标系统中精确地登记过的一个或多个未经加工的结构模型(例如,楼宇模型)的虚拟环境。此外,一个或多个全景图像可与该虚拟环境关联。这样,一个或多个所述3D结构模型可与一个或多个图像(例如,全景图像)关联。通过利用一个或多个坐标(例如,取得全景图像时的位置的GPS坐标)以及方向信息,全景图像可与该模型关联。
POI可以是例如人能够发现有兴趣或有用的特定点位置。POI的示例可以包括机场、面包房、大坝、陆标、餐馆、酒店、大厦、公园、人的位置或以某一方式有兴趣、有用或有意义的任何点。此外,POI可以包括基于存在信息的移动目标或点。例如,存在信息可以包括特定实体(例如,人、团体等)基于GPS或其它位置信息的位置。该实体的UE101可以将位置信息发送到位置服务平台103,其可以协调实体位置信息并允许对该实体的追踪。
UE101的用户可以执行应用109来查看例如与UE101关联的显示器上的AR或MR信息、墙上或空中投影等。用户可键入输入搜索标准以定位一个或多个POI。该搜索标准可以在UE101处处理并被用于查询位置服务平台103以获取关于POI的信息。可使用一个或多个其它位置服务平台来获取POI信息。此外,POI信息可来自其它数据库(例如,与UE101关联的联系人列表、消息收件箱等)。此外,搜索标准可以包括大厦的名称或标识与位置/POI关联的大厦或结构的地址。也可以接收关于结构的信息(例如,与结构关联的多个楼层、其它划分信息等)并由UE101高速缓存。可以高速缓存关于一个或多个POI(例如,实体、店铺等)和/或与POI关联的元数据(例如,名称、图标、图片、楼层、电话号码、web地址等)的其它信息。这样的信息可用于将增强内容呈现给用户。
进一步地,一个或多个与该搜索相关联的结构被标识。可以根据一个或多个处理对该结构进行划分。一个这样的过程是使用可以标识将在划分中使用的一个或多个特征的图像分析和/或模式检测算法来执行关于结构的一个或多个全景图像的分析。例如,诸如多排窗的重复水平特征可用于确定楼层(例如,可用于垂直间距的水平划分)。楼层检测算法可以根据作为结果的特征检测楼层数量。该结果可以来自特征提取,其可以投影到该结构的各堵墙。该提取工艺可用于缓解楼层检测算法的处理需求。可以比较示出同一大厦在不同的光线条件下的图像,以使得楼层的检测更精确。例如,晚间图像可包括使得关联的视觉特征更突出的发光窗口,其可导致更精确的特征提取。
可以将确定划分的图像的处理与一个或多个世界数据数据库中的POI信息和/或结构信息进行比较以验证将与结构关联的划分数量。这可以在划分检测(例如,楼层检测)中提供更好的精确性。此外,结构的近似高度可从世界数据107中存储的结构模型获得并可用于检查楼层检测结果的有效性。例如,特定位置的大厦代码可要求大厦的楼层至少或者最多在某一高度。这可以用来提供可能用于大厦的楼层数的楼层或最高限度(ceiling)值。
然后来自POI信息的POI的位置(例如,包括套件号、公寓号、楼层号等的地址)可绘制到该结构的一部分。这样,可将该结构呈现给用户(例如,如图4B中所示)。该结构可以使用水平划分被垂至地划分,以及使用其它划分在其它方向被划分。这样,结构的单个楼层可以被划分成与POI、地址等一样多的部分。关于结构的该信息可源自搜索信息。在一些情况下,POI的位置不需要对应于精确的楼层,但是可以被拆分对应于近似的位置。此外,在一些实施例中,楼层不需要被划分以提供该楼层内的进一步的水平粒度。此外,可以各种方式呈现与楼层关联的POI信息。例如,可以将POI信息静态地示为结构的墙上的纸带式动画、旋转图标等。在一些实施例中,可以完成附加粒度(例如,将一个或多个POI与楼层上的特定位置关联)。在这些实施例中,世界数据107可以包括可用于确定该特定位置的平面图信息。
如此前提到的,各种应用可利用上述方法来注解内容。例如,位置服务平台103可以提供利用真实世界环境的图像、3D模型等的服务。例如,UE101的应用109可以访问基于特定位置的服务,诸如对搜索结果的本地搜索。当确定了搜索结果,则可利用世界数据107将关联信息发送到UE101。接下来可利用对于POI的搜索结果来获取与作为结果的POI关联的一个或多个图像或其他表示(例如,基于3D模型)。在呈现给用户时,这些图像或表示可包括基于上述划分的POI的表示。这样,基于位置的服务利用所述注解方法。
通过示例,系统100的通信网络105包括一个或多个网络,诸如数据网络(未示出)、无线网络(未示出)、电话网络(未示出)、或其任何组合。可设想数据网络可以是任何局域网(LAN)、城域网(MAN)、广域网(WAN)、公共数据网(例如,因特网)、短程无线网络或任何其它合适的分组交换网,诸如商业拥有的、私有的分组交换网络,例如私有电缆或光纤网络等、或其任意组合。此外,无线网络例如可以是蜂窝网络并可以采用各种技术,包括增强数据率全球演进(EDGE)、通用分组无线业务(GPRS)、全球移动通信系统(GSM)、因特网协议多媒体子系统(IMS)、通用移动通信系统(UMTS)等,以及任何其它合适的无线介质,例如,微波接入全球互连(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(WiFi)、无线LAN(WLAN)、因特网协议(IP)数据广播、卫星、移动自组织网络(MANET)等、或其任意组合。
UE101是任何类型的移动终端、固定终端或便携式终端,包括移动手机、台、单元、设备、多媒体计算机、多媒体输入板、因特网节点、通信器、桌面计算机、膝上型计算机、笔记本电脑、上网本计算机、平板电脑、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收机、无线电广播接收机、电子书设备、游戏设备、或其任意组合,包括这些设备的附件和外部设备或其任意组合。还可以设想UE101可支持任何类型的到用户的接口(诸如“可佩带”电路等)。
通过示例,UE101和位置服务平台103使用已知的、新的或仍在开发中的协议彼此通信并与通信网络105的其它组件通信。在此上下文中,协议包括定义通信网络105内的网络节点如何基于在通信链路上发送的信息彼此交互的规则集。协议在每个节点内的操作的不同层处有效,从生成和接收各种类型的物理信号、到选择用于传递这些信号的链路、到由这些信号指示的信息的格式、到识别计算机系统上执行的哪个软件应用发送或接收该信息。在开放系统互连(OSI)参考模型中描述了用于在网络上交换信息的协议的概念上不同的层。
网络节点之间的通信通常被交换数据的离散分组影响。每个分组通常包括(1)与特定协议相关联的头部信息,以及(2)在头部信息后面并且含有可独立于该特定协议而被处理的信息的有效载荷信息。在一些协议中,分组包括(3)在有效载荷后面并且指示了有效载荷信息的结束的尾部信息。头部包括诸如以下的信息:分组的源、其目的地、有效载荷的长度以及协议所使用的其它特性。通常,针对特定协议的有效载荷中的数据包括用于与OSI参考模型的不同的较高层相关联的不同协议的头部和有效载荷。针对特定协议的头部通常指示了包含在其有效载荷中的下一协议的类型。较高层协议据说封装在较低层协议中。包括在穿过多个异构网络(例如因特网)的分组中的头部通常包括物理(层1)头部、数据链路(层2)头部、网络间(层3)头部和传输(层4)头部,以及如OSI参考模型定义的各种应用头部(层5、层6和层7)。
在一个实施例中,位置服务平台103可根据客户端-服务器模型与UE101的应用109交互。根据客户端-服务器模型,客户端过程发送包括请求的消息到服务器过程,并且服务器过程通过提供服务(例如,增强现实图像处理、增强现实图像获取、POI数据获取、POI搜索、结构信息获取等)来进行响应。服务器过程还可以返回带有响应的消息给客户端过程。通常,客户端过程和服务器过程在不同的计算机设备(称为主机)上执行,并且使用用于网络通信的一个或多个协议经由网络进行通信。术语“服务器”传统上用于指提供服务的过程,或运行所述过程的主机。相似地,术语“客户端”传统上用于指作出请求的过程,或运行所述过程的主机。此处使用的术语“客户端”和“服务器”是指过程,不是指主机,除非从上下文中明确的表示。此外,出于包括可靠性、可伸缩性和冗余性等的原因,可以将服务器执行的过程拆分以作为多个主机上的多个过程(有时称为层)来运行。
图2是根据一个实施例的用户设备的组件的示意图。作为示例,UE101包括用于提供在基于位置的服务体验(例如,AR、MR等)中使用的GUI的一个或多个组件。期望的是,这些组件的功能可以组合在一个或多个组件中或者由具有等同功能性的其它组件执行。在该实施例中,UE101包括数据采集模块111,其可包括一个或多个定位模块201、磁力计模块203、加速计模块205和图像捕获模块207。UE101还可以包括协调UE101的其它组件的使用的运行时间模块209、用户界面211、通信接口213、图像处理模块215和存储器217。UE101的应用109(例如,位置服务应用)可在利用UE101的组件的运行模块209上执行。
定位模块201可确定用户的位置。可由诸如GPS、A-GPS、原点小区的三角测量系统或其它位置推断技术来确定用户的位置。标准GPS和A-GPS系统可使用卫星113来精确定位UE101的位置。原点小区系统可用于确定与蜂窝UE101同步的蜂窝塔。该信息提供UE101的粗定位,因为蜂窝塔可以具有可被地理测绘的唯一的蜂窝标识符(小区ID)。定位模块201还可以使用多种技术来检测UE101的位置。当媒体(例如,图像、视频等)被捕获时,关于UE101的位置,位置坐标(例如,GPS坐标)可以给出更精细的细节。在一个实施例中,由应用109将GPS坐标嵌入捕获的媒体(例如,图像、视频等)或者与UE101关联的元数据中。在其它实施例中,位置坐标可以在文件中格式化(例如,作为矢量)并被发送到独立于任何媒体的位置服务平台103。此外,在特定实施例中,GPS坐标可包括海拔以提供高度。还可使用另一类型的高度计来确定该海拔。在一些情况下,定位模块201可以是用于确定UE101的位置、图像或用于将看见的POI或结构与位置关联的部件。此外或者可替代地,可使用用户输入来确定兴趣位置。
磁力计模块203可用于查找UE101的水平方向。磁力计是可以测量磁场的强度和/或方向的仪器。使用与指南针相同的方法,磁力计能够使用地球磁场确定UE101的方向。媒体捕获设备(例如,相机)的前部可标记为确定方向的参考点。因此,如果与参考点相比磁场指向北,则UE101参考点相对磁场的角度已知。可以进行计算以确定UE101的方向。在一个实施例中,可由位置服务应用109将从磁力计获得的水平方向数据嵌入捕获的或流媒体或者与UE101关联的元数据中(例如,通过在对位置服务平台103的请求中包括该信息)。例如,该请求可用于获取与特定位置、一个或多个POI、一个或多个结构等关联的信息。
加速计模块205可用于确定UE101的垂直方向。加速计是可测量加速度的仪器。使用三轴的加速计,轴X、Y和Z,以已知角度在三个方向中提供加速。再一次,在确定方向的过程中可将媒体捕获设备的前端标记为参考点。因为由于万有引力导致的加速度已知,当UE101静止时,加速计模块205可确定与地球的万有引力相比UE101指向的角度。在一个实施例中,位置服务应用109将从加速计获得的垂直方向数据嵌入捕获的或流媒体或者与UE101关联的元数据中。在特定情况中,磁力计模块203和加速计模块205可以是用于确定用户的视角(perspective)的部件。进一步地,可利用与用户的位置关联的方向来将UE101的位置绘制到一个或多个图像(例如,全景图像和/或相机视图图像)和/或3D模型视图。通过这样的方向信息,位置服务应用109可以确定关于UE101的一个或多个POI、结构等。进一步地,在UE101的用户界面211上向用户呈现POI信息时可以利用方向信息。
在一个实施例中,通信接口213可用于与位置服务平台103或其它UE101通信。某些通信可经由诸如因特网协议、消息发送(例如,SMS、MMS等)的方法或任何其它通信方法(例如,经由通信网络105)来进行。在一些实例中,UE101可经由通信接口213向位置服务平台103发送请求。然后位置服务平台103可经由通信接口213回送响应。在一些实施例中,使用位置和/或方向信息来生成到位置服务平台103的对一个或多个对象的一个或多个图像(例如,全景图像)、一个或多个地图位置信息、3D地图等的请求。
图像捕获模块207可与一个或多个媒体捕获设备连接。图像捕获模块207可包括光传感器和能将光图像转换成数字格式的电路。图像捕获模块207的示例包括相机、摄像机等。此外,图像捕获模块207可以处理来自媒体捕获设备的输入数据。例如,图像捕获模块207可接收涉及真实世界环境的信息的视频馈送(例如,同时经由运行模块209执行位置服务应用109)。图像捕获模块207可从信息和/或图像集(例如,视频)捕获一个或多个图像。这些图像可以被发送到位置服务平台103以进行处理或在图像处理模块215处进行处理。图像处理模块215可以例如检测与位置和/或方向关联的一个或多个POI和/或结构。进一步地,图像处理模块215和/或位置服务平台103可以基于一个或多个算法确定与结构关联的一个或多个楼层。在一些实施例中,可以使用图像处理模块215和/或位置服务平台103来确定结构的一个或多个特征,其可用于确定与结构关联的一个或多个划分。然后,与结构关联的POI的表示可经由用户界面211呈现。图像处理模块215可经由一个或多个处理器、图形处理器等实现。在一些实施例中,图像捕获模块207可以是用于确定一个或多个图像的部件。
用户界面211可包括各种通信方法。例如,用户界面211可具有包括视觉组件(例如,屏幕)、音频组件、物理组件(例如,震动)和其它通信方法的输出。用户输入可包括触屏界面、滚动点击界面、按钮界面、麦克风等。此外,用户界面211可用于显示来自存储器217和/或通过通信接口213接收的地图、导航信息、相机视图和流、增强现实应用信息、POI、虚拟现实地图图像、全景图像等。输入可以经由一种或多种方法,诸如语音输入、文本输入、打字输入、打字触屏输入、其它触摸使能的输入等。在一些实施例中,用户界面211和/或运行模块209可以是用于促使呈现显示信息的部件。
在一些实施例中,存储器217可存储关于不对其它用户公开的一个或多个POI的信息。例如,存储在联系人列表中的联系人信息可以包括虚拟联系人卡中可获得的或者由用户键入的包括联系人的标识符和位置信息(例如,地址)的信息。在这种方式中,用户可选择该联系人作为用户寻找以查看关于其的信息的POI。此外或者可替代地,用户可从另一源(例如,地址数据库)请求这样的信息。在一些实施例中,其它源可以是私人源。例如,用户可具有附着到用户的车辆的可用于使得该车辆成为可识别的POI的应答器。
图3是根据一个实施例的用于基于划分渲染兴趣点信息的过程的流程图。在一个实施例中,位置服务应用109(例如,在UE101的运行模块209上执行)执行过程300并且例如在包括如图6中的处理器和存储器的芯片集中实现。此外或者可替换地,可以经由另一设备(例如,位置服务平台103)实现过程300的一个或多个部分。这样,运行模块209和/或其他设备可用作用于实现过程300的一个或多个步骤的部件。
UE101的用户可利用位置服务应用109来查看UE101上基于位置的内容。可利用位置服务应用109来向用户提供AR或MR特征。在一个实施例中,用户可将关于位置(例如,地址)的信息输入UE101。此外或者可替代地,UE101可基于UE101的一个或多个传感器确定位置。此外,应用109可确定至少一个结构的一个或多个表示(步骤301)。这可以基于位置信息,例如,该表示可以包括全景图像的一个或多个部分或者基于位置信息(例如,GPS坐标、方向信息、地址等)从世界数据107获取的3D模型。此外或者可替代地,该表示可从一个或多个图像传感器(例如,经由图像捕获模块207)生成。
然后,在步骤303,应用109可至少部分地基于一个或多个表示的一个或多个特征确定该至少一个结构的一个或多个划分。如此前所述,划分可包括用于垂直间距的水平划分、用于水平间距的垂直划分、其他类型的划分、其组合等。例如,可使用水平划分来表示结构的一个或多个楼层。该特征可包括该结构的建筑细节,该细节在一个或多个该表示中是可检测的。例如,该细节可包括从该表示检测到的窗户、大厦特征(例如,屋顶、顶梁柱、凸出等)等。然后检测到的特征可以被处理以确定划分。例如,可以基于一个或多个基于检测到的窗户来检测划分的算法确定划分。例如,大厦的一排窗户可表示楼层划分。对结构在不同的光线条件、环境条件等情况下的多于一种表示的使用可以提供检测算法合适的进一步信心。例如,结构在夜间的表示可具有在结构的窗户内部的灯光。因此,照明可提供附加对比以检测窗户特征。各种环境条件(例如,艳阳天)可附加地提供特征提取信心。例如,艳阳天的表示可比暴风雨期间的表示更清楚地示出特征。
然后,在步骤305,应用109可确定结构的一个或多个特性。该特性可包括存储在一个或多个数据库中的与该结构和/或该结构中的POI相关的信息。例如,可从与结构关联的目录确定有多少楼层与该结构关联。此外,可以利用结构蓝图、大厦代码、POI信息等。例如,如果与结构关联的POI(例如,基于地址)包括表明楼层的信息(例如,房间号,其中关于号码的第一组包括楼层、套间号、楼层号等),则有该结构包括至少那么多楼层的信心。该结构可用于验证或更新基于特征确定的一个或多个划分(步骤307)。该验证可包括对基于该特征和特性检测到的划分的比较。
此外,应用109可确定与结构关联的一个或多个POI(步骤309)。POI可以通过查询世界数据107、UE101的内部存储器等确定。例如,世界数据107可包括与一个或多个特定结构关联的数据结构和/或数据库。这样,POI可与数据库中的结构关联。此外或者可替代地,POI可以存储在与结构信息分离的数据库中。这里,POI信息可基于其他信息(例如,地址、位置坐标等)与结构关联或相关。例如,POI数据库可包括基于数据结构的POI信息,包括例如POI的名称、描述POI的信息、位置信息、关联的结构信息、其组合等。可以利用位置信息来选择POI和/或结构。因此,应用109可以确定POI的一个或多个特性(例如,位置信息、结构信息等)。例如,该特性可以基于可包括POI信息的结构的平面图、结构的蓝图、其组合等。此外或者可替代地,结构的高度可用于进行验证。如果结构的一部分被挡住(例如,被树挡住)那么这将是有用的。可以基于结构的高度完成基于启发式的分析。例如,历史上,楼层通常高约3米,其可用于均匀地拆分楼层划分。可以使用包括这种信息的数据库来确定特征和/或验证和/或更新划分。
然后,在步骤311,应用109可确定至少部分地基于一个或多个划分来渲染一个或多个POI以进行呈现(例如,在显示器中)。例如,应用109可促使对结构的渲染的呈现(例如,基于由UE101捕获的一个或多个图像和/或图像数据库)。然后,应用109可促使对与结构关联的所确定的POI的表示的呈现。该表示可包括POI信息并且可以基于如图4A和4B中进一步示出的划分来呈现。POI信息可以包括POI的描述(例如,联系人姓名、位置名称、商铺名称、POI处可获得的特征等)以及标签和其它表示,诸如图标。该信息可呈现为覆盖、增强、注解等。基于划分示出POI信息的优势是可以向用户示出更多的粒度(granularity)。
在一个实施例中,可以向用户呈现改变或修改POI与划分的关联的选项。例如,可以向用户呈现编辑选项以允许用户编辑与结构手工关联的划分的数量。在一些实施例中,这些改变可以存储在UE101上。在其它实施例中,这些改变可以存储在位置服务平台103处并用于其它用户。用户可经由用户界面改变划分。附加地或者可替代地,可以利用用户输入来修改用于确定划分的算法。例如,用户可向算法输入每层定量的高度以确定大厦中的楼层数。此外,窗户概略图以及结构正面上的其它视觉特征(例如,重复的视觉特征)可用于限制楼层的呈现。在这种方式中,用于功用目的(例如,电梯发动机、空调等)的楼层不必与用户有兴趣查看的楼层冲突。
在一个实施例中,可以将诸如运动场的大型结构呈现给用户。在该实施例中,可以基于一个或多个划分将该结构划分成一个或多个部分。例如,可具有其中消费者可买票插入的不同部分。UE101的传感器(例如,条形码传感器、相机等)或其他输入(例如,键区)可用于确定用户感兴趣的运动场的特定部分。然后将该特定部分与运动场信息(例如,运动场蓝图、部分坐标图等)进行比较。可以利用该比较来确定运动场的位置,以通过表示(例如,流图像)与特定部分关联的注解来增强。此外,可(例如,经由覆盖色彩、轮廓等)突出该部分以强调该位置。
图4A-4B是根据各种实施例在图3的过程中使用的用户界面的示意图。图4A示出了基础图像用户界面400,其可由利用基于位置的应用的UE101的用户使用。该图像可包括一个或多个结构401、403、405。可使用用户输入的位置信息和/或搜索信息找到与该结构关联的POI。进一步地,该图像可以是图像数据库和/或UE101的相机部分的取景器的一部分。POI内容可覆盖在用户界面400上。
用户界面420示出了具有与POI关联的附加内容的基础用户界面400。如图所示,用户界面420包括在结构401的各个划分上示出的POI421、423、425、427、429。可以利用垂直间距来向用户示出结构401的不同楼层与不同POI关联。如前所述,可以利用一排或多排窗户431a-431e来确定水平划分,并且呈现为421、423、425、427、429的POI表示可与基于POI信息(例如,与POI关联的地址信息)的划分关联。进一步地,可以基于POI信息和/或其他选择类型接近水平间距。例如,Joe Bob425与银行427可与同一楼层关联,但是也可以基于平面图信息和/或随机选择被水平地间隔开。
使用上述方法,与结构关联的POI的分离是可能的。这样,各种应用的用户可查看分离的POI信息,允许用户更清楚地区分POI与图表上的地方POI。这是通过为基于划分的信息视觉化提供附加维度来实现的。该方法还使得各种应用能够提供呈现给用户的POI信息中的附加精确度。此外,机密信息项(例如,存储在UE101上的联系人信息)可从用户的UE101直接获取,以允许针对用户的附加隐私。这样,可在用户的UE101上看到共享给用户的信息,但是无权访问该共享信息(例如,联系人信息、联系人的存在信息等)的其它用户的UE101上看不到该共享给用户的信息。
此处描述的用于注解兴趣点信息的过程可以有利地通过软件、硬件、固件或者软件和/或固件和/或硬件的组合实现。例如,可以通过处理器、数字信号处理(DSP)芯片、专用集成电路(ASIC)、场可编程门阵列(FPGA)等来有利地实现此处描述的过程。下面详细地介绍用于执行所述功能的这种示例性硬件。
图5示出了可在其上实施本发明的实施例的计算机系统500。尽管关于特定设备或者装备对计算机系统500进行描述,期望的是,图5内的其它设备或者装备(例如,网络元件、服务器等)能够部属所示出的系统500的硬件和组件。计算机系统500被编程(例如,经由计算机程序代码或者指令)以如此处描述的注解兴趣点信息,并且包括诸如总线510的用于在计算机系统500的其它内部和外部组件之间传递信息的通信机制。信息(也称为数据)表示为可测量现象的物理表达,通常为电压,但是在其它实施例中包括诸如磁、电磁、压强、化学、生物、分子、原子、亚原子和量子相互作用的现象。例如,北磁场和南磁场或者零和非零电压表示二进制数字(比特)的两个状态(0,1)。其它现象可以表示更高基的数字。测量前多个同时发生的量子状态的叠加表示量子比特(qubit)。一个或多个数字的序列组成用于表示字符号码或者代码的数字数据。在一些实施例中,被称为模拟数据的信息由特定范围内的近似连续的可测量值表示。计算机系统500或者其部分组成用于执行注解兴趣点信息的一个或多个步骤的部件。
总线510包括一个或多个平行的信息导体以便信息在与总线510耦合的设备之间快速传输。用于处理信息的一个或多个处理器502与总线510耦合。
处理器(或多个处理器)502按照关于注解兴趣点信息的计算机程序代码所指定的那样对信息执行操作集合。计算机程序代码是为处理器和/或计算机系统的操作提供了用于实施指定功能的指令的一组指令或声明。例如可以用被编译成处理器的原生指令集的计算机编程语言来编写代码。也可以直接使用原生指令集(例如,机器语言)来编写代码。操作集合包括从总线510带入信息并且将信息置于总线510上。操作集合通常还包括诸如通过加法或乘法或者比如“或(OR)”、“异或(XOR)”和“与(AND)”这样的逻辑运算来:比较两个或更多信息单元,将信息单元的位置进行移位,以及组合两个或更多信息单元。可以由处理器执行的操作集合中的每个操作由称为指令的信息而被表示给处理器,诸如一个或多个数位的操作代码。要由处理器502执行的操作序列(诸如操作代码序列)构成了处理器指令,也称为计算机系统指令或简单地称为计算机指令。处理器可以单独地或组合地被实现为机械、电、磁、光、化学或量子组件等。
计算机系统500还包括耦合到总线510的存储器504。诸如随机存取存储器(RAM)或其它动态存储设备的存储器504存储信息,包括用于注解兴趣点信息的处理器指令。动态存储器允许计算机系统500改变存储在其中的信息。RAM允许独立于在相邻地址处的信息来存储和检索被存储在称为存储器地址的位置处的信息单元。存储器504还被处理器502用于存储在处理器指令的执行期间的临时值。计算机系统500还包括只读存储器(ROM)506或者耦合到总线510的任何其它静态存储设备,用于存储不被计算机系统500改变的静态信息(包括指令)。特定存储器包括易失性储存器,当断电时,易失性储存器会丢失在其上存储的信息。也耦合到总线510的是非易失性(永久)存储设备508,诸如磁盘、光盘或闪卡,用于存储包括指令的信息,非易失性存储设备508即使当计算机系统500关闭或以其它方式断电时也进行存留。
从外部输入设备512(诸如含有由人类用户操作的字母数字键的键盘)或传感器将信息(包括用于注解兴趣点信息的指令)提供给总线510来由处理器使用。传感器检测其附近的状况,并且将那些检测结果变换成与用于表示计算机系统500中的信息的可测量现象相兼容的物理表达。耦合到总线510的主要用于与人类进行交互的其它外部设备包括显示设备514,诸如阴极射线管(CRT)或液晶显示器(LCD),发光二极管(LED)显示器、有机LED(OLED)显示器、用于呈现文本或图像的等离子屏幕或打印机,以及定点设备516,诸如鼠标、轨迹球、光标方向键,或者运动传感器,用于控制在显示器514上呈现的小型光标图像的位置以及发布与显示器514上所呈现的图形元素相关联的命令。在一些实施例中,例如,在计算机系统500在没有人类输入的情况下自动地实现所有功能的实施例中,省略外部输入设备512、显示设备514和定点设备516中的一个或多个。
在所图示的实施例中,诸如专用集成电路(ASIC)520的专用硬件耦合到总线510。专用硬件被配置以便出于专用目的而足够快地执行处理器502不执行的操作。ASIC的例子包括:用于为显示器514生成图像的图形加速器卡、用于加密和解密在网络上发送的消息的密码板、语音识别以及针对专门的外部设备的接口,诸如重复地执行在硬件中更为高效实现的一些复杂操作序列的机器臂和医疗扫描设备。
计算机系统500还包括耦合到总线510的通信接口570的一个或多个实例。通信接口570提供了耦合到与其自己的处理器一起操作的各种外部设备(诸如打印机、扫描仪和外部盘)的单向或双向通信。通常,耦合是针对网络链路578,网络链路578连接到本地网络580,具有其自己的处理器的各种外部设备连接到本地网络580。例如,通信接口570可以是个人计算机上的并行端口或串行端口或通用串行总线(USB)端口。在一些实施例中,通信接口570是综合服务数字网络(ISDN)卡或数字订户线路(DSL)卡或者向对应类型的电话线路提供信息通信连接的电话调制解调器。在一些实施例中,通信接口570是将总线510上的信号转换成用于在同轴电缆上的通信连接的信号或转换成用于在光纤电缆上的通信连接的光信号的电缆调制解调器。又例如,通信接口570可以是用于向兼容的LAN(诸如以太网)提供数据通信连接的局域网(LAN)卡。也可以实现无线链路。对于无线链路,通信接口570发送或接收或者既发送又接收携带了信息流(诸如数字数据)的电、声或电磁信号,包括红外信号和光信号。例如,在无线手持设备(诸如像蜂窝电话这样的移动电话)中,通信接口570包括被称为无线电收发器的无线电频带电磁发射机和接收机。在特定实施例中,通信接口570实现了用于UE101的与通信网络105的连接。
术语“计算机可读介质”在此用于指的是参与向处理器502提供信息(包括用于执行的指令)的任何介质。这样的介质可以采用很多形式,包括但不限于计算机可读存储介质(例如,非易失性介质、易失性介质)和传输介质。诸如非易失性介质的非暂态介质包括例如光盘或磁盘,诸如存储设备508。易失性介质包括例如动态存储器504。传输介质包括例如双绞线电缆、同轴电缆、铜导线、光纤电缆以及在没有导线或电缆的情况下通过空间行进的载波,诸如声波和电磁波,包括无线电波、光波和红外波。信号包括通过传输介质传送的在幅度、频率、相位、极化或其它物理属性方面的人为瞬时变化。计算机可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带、任何其它磁介质、CD-ROM、CDRW、DVD、任何其它光介质、穿孔卡、纸带、光标记片材、具有孔图案或其它光可识别标记的任何其它物理介质、RAM、PROM、EPROM、FLASH-EPROM、EEPROM、闪存、任何其它存储器芯片或卡式盒、载波,或者计算机可以从其进行读取的任何其它介质。在此使用术语“计算机可读存储介质”来指代除了传输介质之外的任何计算机可读介质。
在一个或多个有形介质中编码的逻辑包括以下中的一个或两个:在计算机可读存储介质上的处理器指令以及专用硬件,诸如ASIC520。
网络链路578通常使用传输介质来通过一个或多个网络向使用或处理信息的其它设备提供信息通信。例如,网络链路578可以通过本地网络580提供针对主机计算机582或针对由因特网服务提供商(ISP)操作的设备584的连接。ISP设备584进而通过现在常被称为因特网590的网络的公共全球分组交换通信网络来提供数据通信服务。
被称为服务器主机592的连接到因特网的计算机托管了响应于在因特网上接收到的信息而提供服务的进程。例如,服务器主机592托管了提供表示出用于在显示器514处呈现的视频数据的信息的进程。可以设想,可以在其它计算机系统(例如主机582和服务器592)内按照各种配置来部署系统500的组件。
本发明的至少一些实施例涉及对用于实现在此描述的一些或所有技术的计算机系统500的使用。根据本发明的一个实施例,响应于处理器502执行包含在存储器504中的一个或多个处理器指令的一个或多个序列,由计算机系统500来实现那些技术。这样的指令(也称为计算机指令、软件和程序代码)可以从诸如存储设备508或网络链路578的另一计算机可读介质读入到存储器504中。包含在存储器504中的指令序列的执行使得处理器502实现在此描述的方法步骤中的一个或多个。在替代实施例中,诸如ASIC520的硬件可以代替软件或与软件相组合地用来实现本发明。因此,本发明的实施例不限于硬件和软件的任何具体组合,除非在此另外明确声明。
通过通信接口570在网络链路578和其它网络上传送的信号携带了去往和来自计算机系统500的信息。计算机系统500可以通过网络580、590等经由网络链路578和通信接口570来发送和接收信息,包括程序代码。在使用因特网590的例子中,服务器主机592通过因特网590、ISP设备584、本地网络580和通信接口570来传送由从计算机500发送的消息所请求的用于特定应用的程序代码。所接收到的代码可以当其被接收到时由处理器502来执行,或者可以被存储在存储器504中或存储设备508或其它非易失性存储器中以用于以后执行,或者二者皆可。以这种方式,计算机系统500可以按照载波上的信号的形式来获得应用程序代码。
各种形式的计算机可读介质可以涉及将数据或指令的一个或多个序列或这二者携带到处理器502来执行。例如,指令和数据可以初始地被携带在诸如主机582的远程计算机的磁盘上。远程计算机将指令和数据加载到其动态存储器中,并且使用调制解调器在电话线路上发送指令和数据。计算机系统500本地的调制解调器在电话线路上接收指令和数据,并且使用红外发射机来将指令和数据转换成在充当网络链路578的红外载波上的信号。充当通信接口570的红外检测器接收在红外信号中携带的指令和数据,并且将表示指令和数据的信息置于总线510上。总线510将该信息携带到存储器504,处理器502从存储器504中检索该信息,并且使用与指令一起发送的一些数据来执行该指令。在存储器504中接收到的指令和数据可以视情况在由处理器502执行之前或之后被存储在存储设备508上。
图6图示了可以在其上实现本发明实施例的芯片集或芯片600。芯片集600被编程以便如在此描述的注解兴趣点信息,并且包括例如相对于图5描述的合并在一个或多个物理封装(例如,芯片)中的处理器和存储器组件。举例来说,物理封装包括在结构配件(例如,基板)上的一个或多个材料、组件和/或导线的布置,以便提供一个或多个特性,诸如物理强度、大小的保持和/或电子交互的限制。可以设想,在特定实施例中,芯片集600可以在单个芯片中实现。可以进一步设想,在特定实施例中,芯片集或芯片600可以实现为单个“片上系统”。可以进一步设想,在特定实施例中,例如可以使用单独的ASIC,并且可以通过处理器实现此处描述的所有相关功能。芯片集或芯片600或其一部分构成了用于执行提供对与功能的有效性关联的用户界面导航信息的一个或多个步骤的部件。芯片集或芯片600或其一部分构成了用于执行注解兴趣点信息的一个或多个步骤的部件。
在一个实施例中,芯片集或芯片600包括诸如用于在芯片集600的组件当中传递信息的总线601的通信机制。处理器603具有到总线601的连接,以便执行指令和处理在例如存储器605中存储的信息。处理器603可以包括一个或多个处理核心,每个核心被配置成独立地执行。多核处理器使得能够在单个物理封装中进行多处理。多核处理器的例子包括两个、四个、八个或更多数目的处理核心。替代地或附加地,处理器603可以包括经由总线601而联合配置的一个或多个微处理器,以便使得能够独立执行指令、流水线操作和多线程。处理器603还可以附配有一个或多个专用组件来执行特定处理功能和任务,诸如一个或多个数字信号处理器(DSP)607或者一个或多个专用集成电路(ASIC)609。DSP607通常被配置成独立于处理器603而实时地处理真实世界的信号(例如,声音)。类似地,ASIC609可以被配置成实现通用处理器不容易实现的专用功能。有助于实现在此描述的本发明功能的其它专用组件包括:一个或多个现场可编程门阵列(FPGA)(未示出)、一个或多个控制器(未示出),或者一个或多个其它专用计算机芯片。
在一个实施例中,芯片集或芯片600只包括一个或多个处理器和支持和/或涉及和/或用于一个或多个处理器的一些软件和/或固件。
处理器603和所附组件具有经由总线601与存储器605的连接。存储器605包括动态存储器(例如,RAM、磁盘、可写光盘等)和静态存储器(例如,ROM、CD-ROM等)这二者,用于存储可执行指令,当执行所述可执行指令时实现在此描述的注解兴趣点信息的本发明步骤。存储器605还存储了与本发明步骤的执行相关联的或通过本发明步骤的执行而生成的数据。
图7是根据一个实施例的能够在图1的系统中操作的用于通信的移动终端(例如,手机)的示例性组件的示图。在一些实施例中,移动终端701或其一部分构成了用于执行注解兴趣点信息的一个或多个步骤的部件。通常,常常关于前端和后端特性来定义无线电接收机。接收机的前端包括所有的射频(RF)电路,而后端包括所有的基带处理电路。如在本申请中使用的,术语“电路”指的是以下两者:(1)仅硬件实现(诸如仅在模拟和/或数字电路中的实现),以及(2)电路和软件(和/或固件)的组合(诸如,如果可应用于特定情境的话,涉及处理器(包括数字信号处理器)、软件和存储器的组合,它们一起工作以便使得诸如移动电话或服务器这样的装置来实现各种功能)。“电路”的该定义适用于本申请中(包括任何权利要求中)对该术语的所有使用。作为进一步的例子,如在本申请中使用的,如果可应用于特定情境的话,术语“电路”还将覆盖仅一个处理器(或多个处理器)及其(或它们)附配的软件和/或固件的实现。术语“电路”还将覆盖(如果可应用于特定情境的话)例如在移动电话中的基带集成电路或应用处理器集成电路,或者在蜂窝网络设备或其它网络设备中的类似集成电路。
电话的相关内部组件包括主控制单元(MCU)703、数字信号处理器(DSP)705,以及接收机/发射机单元(包括扩音器增益控制单元和扬声器增益控制单元)。主显示单元707向用户提供显示器,从而支持用于执行或支持注解兴趣点信息的步骤的各种应用和移动终端功能。显示器707包括显示电路,该显示电路被配置成显示移动终端(例如,移动电话)的用户界面的至少一部分。另外,显示器707和显示电路被配置成促进用户对移动终端的至少一些功能的控制。音频功能电路709包括扩音器711和扩音器放大器,扩音器放大器放大了从扩音器711输出的语音信号。从扩音器711输出的已放大的语音信号被馈送到编码器/解码器(编解码器)713。
无线电部分715放大功率并转换频率,以便经由天线717来与包括在移动通信系统中的基站通信。如本领域中已知的,利用来自耦合到双工器721或循环器或天线开关的PA719的输出,功率放大器(PA)719和发射机/调制电路可操作地响应于MCU703。PA719还耦合到电池接口和功率控制单元720。
在使用中,移动终端701的用户向扩音器711讲话,并且他或她的语音连同任何检测到的背景噪声被转换成模拟电压。然后,该模拟电压通过模数转换器(ADC)723被转换成数字信号。控制单元703将数字信号路由到DSP705用于在其中进行处理,诸如语音编码、信道编码、加密和交织。在一个实施例中,使用蜂窝传输协议(诸如全球演进增强数据速率(EDGE)、通用分组无线电服务(GPRS)、全球移动通信系统(GSM)、因特网协议多媒体子系统(IMS)、通用移动电信网络(UMTS)等)以及任何其它合适的无线介质(例如微波接入(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(WiFi)、卫星等或其任何组合),通过未单独示出的单元来编码经处理的语音信号。
然后,编码信号被路由到均衡器725,用于补偿在通过空气传输期间发生的诸如相位和幅度失真这样的任何依赖于频率的损伤。在均衡了比特流之后,调制器727将该信号与在RF接口729中生成的RF信号进行组合。调制器727通过频率或相位调制来生成正弦波。为了准备用于传输的信号,上变频器731将从调制器727输出的正弦波与由合成器733生成的另一正弦波进行组合,以便实现期望的传输频率。然后,信号被发送通过PA719以便将信号增加到适合的功率电平。在实际系统中,PA719充当可变增益放大器,其增益根据从网络基站接收到的信息而受到DSP705的控制。然后,该信号在双工器721中被过滤并且可选地被发送到天线耦合器735以便匹配阻抗,从而提供最大功率传输。最后,该信号经由天线717被传送到本地基站。自动增益控制(AGC)可以被供应来控制接收机的最后阶段的增益。该信号可以从那里被转发到远程电话,远程电话可以是另一蜂窝电话、任何其它移动电话或者连接到公共交换电话网络(PSTN)或其它电话网络的陆线。
经由天线717来接收被传送到移动终端701的语音信号,并且由低噪声放大器(LNA)737立即放大。下变频器739降低载波频率,而解调器741去掉RF仅留下数字比特流。然后,该信号经过均衡器725并由DSP705进行处理。数模转换器(DAC)723转换该信号并将所得到的输出通过扬声器745传送到用户,所有的这些都在主控制单元(MCU)703(其可被实现为中央处理单元(CPU)(未示出))的控制之下。
MCU1003从键盘747接收包括输入信号的各种信号。与其它用户输入组件(例如,扩音器711)相组合的键盘747和/或MCU703包括用于管理用户输入的用户接口电路。MCU703运行用户接口软件以便促进用户控制移动终端701的至少一些功能,从而注解兴趣点信息。MCU703还向显示器707和语音输出切换控制器分别递送显示命令和切换命令。此外,MCU1003与DSP705交换信息,并且可以访问可选地被合并的SIM卡749和存储器751。另外,MCU703执行终端所需要的各种控制功能。DSP705可以根据实现方式来对语音信号执行各种常规数字处理功能中的任何功能。另外,DSP705根据由扩音器711所检测到的信号来确定本地环境的背景噪声电平,并且将扩音器711的增益设置成被选择用于补偿移动终端701的用户的自然倾向的电平。
编解码器713包括ADC723和DAC743。存储器751存储了包括呼入音调数据的各种数据,并且能够存储包括经由例如全球因特网而接收到的音乐数据在内的其它数据。软件模块可以驻留在RAM存储器、闪速存储器、寄存器或本领域已知的任何其它形式的可写存储介质中。存储设备751可以是但不限于单个存储器、CD、DVD、ROM、RAM、EEPROM、光储存器、磁盘储存器、闪存储存器或者能够存储数字数据的任何其它非易失性存储介质。
可选地被合并的SIM卡749携带了例如重要信息,诸如蜂窝电话号码、供应服务的载波、预订细节和安全信息。SIM卡749主要服务于标识出无线电网络上的移动终端701。卡749还含有用于存储个人电话号码登记簿、文本消息和特定于用户的移动终端设置的存储器。
尽管已经结合多个实施例和实现方式描述了本发明,但是本发明并不如此受到限制,而是覆盖了落入所附权利要求的范围之内的各种明显的修改和等同布置。尽管在权利要求当中的特定组合中表达了本发明的特征,但是可以设想这些特征可以按照任何组合和顺序来布置。

Claims (16)

1.一种用于注解兴趣点信息的方法,包括:
确定至少一个结构的一个或多个图像表示;
从所述至少一个结构的所述一个或多个图像表示中检测一个或多个图像特征;
至少部分地基于从所述一个或多个图像表示中检测的所述一个或多个图像特征确定所述至少一个结构的一个或多个划分;
确定与所述至少一个结构关联的一个或多个兴趣点;以及
确定至少部分地基于所述一个或多个划分渲染所述一个或多个兴趣点以用于呈现。
2.根据权利要求1所述的方法,进一步包括:
确定所述至少一个结构的一个或多个特性;以及
确定至少部分地基于所述一个或多个特性验证所述一个或多个划分、更新所述一个或多个划分或其组合。
3.根据权利要求1所述的方法,其中所述一个或多个划分包括一个或多个水平划分、一个或多个垂直划分或其组合。
4.根据权利要求1所述的方法,进一步包括:
确定至少一个所述兴趣点的一个或多个特性;以及
确定至少部分地基于所述一个或多个特性将所述至少一个兴趣点的渲染绘制到所述一个或多个划分。
5.根据权利要求4所述的方法,其中至少部分地基于所述至少一个结构的平面图确定所述一个或多个特性。
6.根据权利要求1所述的方法,其中所述一个或多个特征包括可在所述一个或多个表示中检测到的至少一个结构的建筑细节。
7.根据权利要求1所述的方法,其中所述一个或多个划分表示所述至少一个结构的一个或多个楼层。
8.根据权利要求1所述的方法,其中所述一个或多个表示在不同的光线条件、环境条件或组合的情况下描述所述至少一个结构。
9.一种用于注解兴趣点信息的装置,包括:
至少一个处理器;以及
包括用于一个或多个程序的计算机程序代码的至少一个存储器,
所述至少一个存储器和所述计算机程序代码被配置成使用所述至少一个处理器使得所述装置至少执行下列步骤,
确定至少一个结构的一个或多个图像表示;
从所述至少一个结构的所述一个或多个图像表示中检测一个或多个图像特征;
至少部分地基于从所述一个或多个图像表示中检测的所述一个或多个图像特征确定所述至少一个结构的一个或多个划分;
确定与所述至少一个结构关联的一个或多个兴趣点;以及
确定至少部分地基于所述一个或多个划分渲染所述一个或多个兴趣点以用于呈现。
10.根据权利要求9所述的装置,其中进一步促使所述装置:
确定所述至少一个结构的一个或多个特性;以及
确定至少部分地基于所述一个或多个特性验证所述一个或多个划分、更新所述一个或多个划分或其组合。
11.根据权利要求9所述的装置,其中所述一个或多个划分包括一个或多个水平划分、一个或多个垂直划分或其组合。
12.根据权利要求9所述的装置,其中进一步促使所述装置:
确定至少一个所述兴趣点的一个或多个特性;以及
确定至少部分地基于所述一个或多个特性将所述至少一个兴趣点的渲染绘制到所述一个或多个划分。
13.根据权利要求12所述的装置,其中至少部分地基于所述至少一个结构的平面图确定所述一个或多个特性。
14.根据权利要求9所述的装置,其中所述一个或多个特征包括可在所述一个或多个表示中检测到的至少一个结构的建筑细节。
15.根据权利要求9所述的装置,其中所述一个或多个划分表示所述至少一个结构的一个或多个楼层。
16.根据权利要求9所述的装置,其中所述一个或多个表示在不同的光线条件、环境条件或组合的情况下描述所述至少一个结构。
CN201180060949.5A 2010-11-04 2011-10-03 用于注解兴趣点信息的方法和装置 Active CN103262125B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/939,558 2010-11-04
US12/939,558 US8952983B2 (en) 2010-11-04 2010-11-04 Method and apparatus for annotating point of interest information
PCT/FI2011/050853 WO2012059627A1 (en) 2010-11-04 2011-10-03 Method and apparatus for annotating point of interest information

Publications (2)

Publication Number Publication Date
CN103262125A CN103262125A (zh) 2013-08-21
CN103262125B true CN103262125B (zh) 2017-06-20

Family

ID=46019211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180060949.5A Active CN103262125B (zh) 2010-11-04 2011-10-03 用于注解兴趣点信息的方法和装置

Country Status (5)

Country Link
US (2) US8952983B2 (zh)
EP (1) EP2636023A4 (zh)
CN (1) CN103262125B (zh)
RU (1) RU2559741C2 (zh)
WO (1) WO2012059627A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8239132B2 (en) * 2008-01-22 2012-08-07 Maran Ma Systems, apparatus and methods for delivery of location-oriented information
US9135352B2 (en) 2010-06-03 2015-09-15 Cisco Technology, Inc. System and method for providing targeted advertising through traffic analysis in a network environment
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
US8884742B2 (en) * 2010-11-03 2014-11-11 Cisco Technology, Inc. Identifying locations within a building using a mobile device
EP2450667B1 (en) * 2010-11-09 2016-11-02 Harman Becker Automotive Systems GmbH Vision system and method of analyzing an image
US20130007089A1 (en) * 2011-06-29 2013-01-03 O'donnell Cornelius J Distributing points of interest
US9007972B2 (en) * 2011-07-01 2015-04-14 Intel Corporation Communication state transitioning control
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
JP2013110569A (ja) 2011-11-21 2013-06-06 Sony Corp 画像処理装置、位置情報付加方法およびプログラム
US9672659B2 (en) * 2011-12-27 2017-06-06 Here Global B.V. Geometrically and semanitically aware proxy for content placement
US9396577B2 (en) * 2012-02-16 2016-07-19 Google Inc. Using embedded camera parameters to determine a position for a three-dimensional model
JP5891843B2 (ja) * 2012-02-24 2016-03-23 ソニー株式会社 クライアント端末、サーバ、およびプログラム
US9053566B1 (en) * 2012-03-29 2015-06-09 Arthur Technologies Llc Real estate blueprint and panoramic video visualization
CN103453909B (zh) * 2012-06-04 2016-06-08 北京四维图新科技股份有限公司 兴趣点信息的显示方法及装置
US8706410B2 (en) * 2012-07-16 2014-04-22 Ford Global Technologies, Llc Navigation system with enhanced point of interest arrival guidance
KR101844395B1 (ko) 2012-08-24 2018-04-02 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 가상 현실 어플리케이션
WO2014035367A1 (en) * 2012-08-27 2014-03-06 Empire Technology Development Llc Generating augmented reality exemplars
KR102051418B1 (ko) * 2012-09-28 2019-12-03 삼성전자주식회사 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
WO2014053020A1 (en) * 2012-10-05 2014-04-10 David Whitfield Interactive locational mapping system
US9294293B2 (en) * 2012-11-28 2016-03-22 Paypal, Inc. Virtual contact cards
EP2936441B1 (en) 2012-12-21 2020-09-30 Apple Inc. Method for representing virtual information in a real environment
EP2936443A1 (en) 2012-12-21 2015-10-28 Metaio GmbH Method for representing virtual information in a real environment
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
EP3742405A3 (en) 2013-09-24 2021-01-13 Apple Inc. Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US20150206343A1 (en) * 2014-01-17 2015-07-23 Nokia Corporation Method and apparatus for evaluating environmental structures for in-situ content augmentation
US9228851B2 (en) * 2014-02-21 2016-01-05 Volkswagen Ag Display of estimated time to arrival at upcoming personalized route waypoints
US10015720B2 (en) 2014-03-14 2018-07-03 GoTenna, Inc. System and method for digital communication between computing devices
JP2016015009A (ja) * 2014-07-02 2016-01-28 ソニー株式会社 情報処理システム、情報処理端末、および情報処理方法
US9811954B2 (en) * 2014-12-02 2017-11-07 Honeywell International, Inc. Near-to-eye display systems and methods for verifying aircraft components
NZ754374A (en) 2015-05-21 2020-01-31 Cloudtraq Llc Identification, location, and authentication systems and methods
US10169917B2 (en) 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
US10235808B2 (en) 2015-08-20 2019-03-19 Microsoft Technology Licensing, Llc Communication system
CN106981000B (zh) * 2016-10-13 2020-06-09 阿里巴巴集团控股有限公司 基于增强现实的多人线下交互、点餐方法及系统
US10509556B2 (en) * 2017-05-02 2019-12-17 Kyocera Document Solutions Inc. Display device
JP6279136B1 (ja) * 2017-08-15 2018-02-14 株式会社テクテック 位置ゲームにおけるオブジェクト制御システム、プログラム及び方法
EP3483104B1 (en) 2017-11-10 2021-09-01 Otis Elevator Company Systems and methods for providing information regarding elevator systems
US10813169B2 (en) 2018-03-22 2020-10-20 GoTenna, Inc. Mesh network deployment kit
US10949906B2 (en) 2018-04-23 2021-03-16 Ebay Inc. Visual diagram searching
RU2716415C1 (ru) * 2019-02-04 2020-03-12 Общество с ограниченной ответственностью "Сити Консьерж" Способ интерактивной навигации на основе краудсорсинга с мультимедийным сопровождением и дополненной реальностью
US20230304821A1 (en) * 2021-01-12 2023-09-28 Lg Electronics Inc. Digital signage platform providing device, operating method thereof, and system including digital signage platform providing device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771957A (zh) * 2008-12-26 2010-07-07 中国移动通信集团公司 一种用户兴趣点确定方法与装置
CN101882135A (zh) * 2009-05-04 2010-11-10 高德软件有限公司 一种数据处理方法和装置
CN102080963A (zh) * 2009-11-27 2011-06-01 北京四维图新科技股份有限公司 建立兴趣点与对应兴趣点图像间的关联关系的方法和装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076741B2 (en) 2001-03-16 2006-07-11 Alpine Electronics, Inc. Point-of-interest icon and point-of-interest mark display method
JP2003263104A (ja) 2002-03-11 2003-09-19 Mitsubishi Electric Corp 撮像情報認識システム
JP4065507B2 (ja) 2002-07-31 2008-03-26 キヤノン株式会社 情報提示装置および情報処理方法
GB2403363A (en) 2003-06-25 2004-12-29 Hewlett Packard Development Co Tags for automated image processing
JP4192731B2 (ja) 2003-09-09 2008-12-10 ソニー株式会社 案内情報提供装置及びプログラム
US7668649B2 (en) 2003-10-16 2010-02-23 Alpine Electronics, Inc. Display method and apparatus for navigation system
GB2413021B (en) 2004-04-05 2006-03-29 Sec Dep Acting Through Ordnanc Navigation system and method
US20060002590A1 (en) 2004-06-30 2006-01-05 Borak Jason M Method of collecting information for a geographic database for use with a navigation system
US8301159B2 (en) 2004-12-31 2012-10-30 Nokia Corporation Displaying network objects in mobile devices based on geolocation
US7720436B2 (en) 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
EP1681537A1 (en) 2005-01-18 2006-07-19 Harman Becker Automotive Systems (Becker Division) GmbH Navigation system with animated junction view
JP4720386B2 (ja) 2005-09-07 2011-07-13 株式会社日立製作所 運転支援装置
GB0523512D0 (en) * 2005-11-18 2005-12-28 Applied Generics Ltd Enhancing traffic and navigation information with visual and audio data
US20080077597A1 (en) 2006-08-24 2008-03-27 Lance Butler Systems and methods for photograph mapping
US9361943B2 (en) 2006-11-07 2016-06-07 The Board Of Trustees Of The Leland Stanford Jr. University System and method for tagging objects in a panoramic video and associating functions and indexing panoramic images with same
US20080120069A1 (en) * 2006-11-22 2008-05-22 Jason Martin Generating an analytical model of building for use in thermal modeling and environmental analyses
JP4870546B2 (ja) 2006-12-27 2012-02-08 株式会社岩根研究所 レイヤー生成・選択機能を備えたcvタグ映像表示装置
KR101288971B1 (ko) 2007-02-16 2013-07-24 삼성전자주식회사 모델링 방법 및 장치
JP4569837B2 (ja) 2007-03-30 2010-10-27 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
US9448072B2 (en) * 2007-05-31 2016-09-20 Trx Systems, Inc. System and method for locating, tracking, and/or monitoring the status of personnel and/or assets both indoors and outdoors
WO2009015501A1 (en) 2007-07-27 2009-02-05 ETH Zürich Computer system and method for generating a 3d geometric model
US8947421B2 (en) * 2007-10-29 2015-02-03 Interman Corporation Method and server computer for generating map images for creating virtual spaces representing the real world
US9381438B2 (en) 2007-11-07 2016-07-05 International Business Machines Corporation Dynamically displaying personalized content in an immersive environment
EP2223041A1 (en) 2007-12-20 2010-09-01 TomTom International B.V. Improved navigation device and method
JP5315111B2 (ja) 2009-03-31 2013-10-16 株式会社エヌ・ティ・ティ・ドコモ 端末装置、情報提示システム及び端末画面表示方法
US8405658B2 (en) * 2009-09-14 2013-03-26 Autodesk, Inc. Estimation of light color and direction for augmented reality applications
US20120019557A1 (en) * 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771957A (zh) * 2008-12-26 2010-07-07 中国移动通信集团公司 一种用户兴趣点确定方法与装置
CN101882135A (zh) * 2009-05-04 2010-11-10 高德软件有限公司 一种数据处理方法和装置
CN102080963A (zh) * 2009-11-27 2011-06-01 北京四维图新科技股份有限公司 建立兴趣点与对应兴趣点图像间的关联关系的方法和装置

Also Published As

Publication number Publication date
RU2013126366A (ru) 2014-12-10
WO2012059627A1 (en) 2012-05-10
CN103262125A (zh) 2013-08-21
US8952983B2 (en) 2015-02-10
RU2559741C2 (ru) 2015-08-10
EP2636023A4 (en) 2016-05-18
EP2636023A1 (en) 2013-09-11
US20120113138A1 (en) 2012-05-10
US20150138230A1 (en) 2015-05-21
US9472159B2 (en) 2016-10-18

Similar Documents

Publication Publication Date Title
CN103262125B (zh) 用于注解兴趣点信息的方法和装置
CN102741797B (zh) 用于转换三维地图对象以呈现导航信息的方法和装置
US20170323478A1 (en) Method and apparatus for evaluating environmental structures for in-situ content augmentation
CN103119544B (zh) 展现基于位置的内容的方法和装置
CN103443589B (zh) 用于确定位置偏移信息的方法和装置
US9842282B2 (en) Method and apparatus for classifying objects and clutter removal of some three-dimensional images of the objects in a presentation
US9317133B2 (en) Method and apparatus for generating augmented reality content
CN102754097B (zh) 用于呈现内容的第一人世界视图的方法和装置
US9558559B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN103003847A (zh) 用于渲染基于位置的用户界面的方法和装置
Chen Ubiquitous positioning and mobile location-based services in smart phones
CN103857989A (zh) 用于在活动用户接口元素中呈现搜索结果的方法和装置
CN103959288A (zh) 用于基于web的增强现实应用查看器的方法和装置
US20140301645A1 (en) Method and apparatus for mapping a point of interest based on user-captured images
US20110050732A1 (en) Method and apparatus for customizing map presentations based on user interests
CN103003786A (zh) 用于为基于位置的服务渲染具有主视图部分和预览部分的用户界面的方法和装置
JP2013545975A5 (zh)
CN103502982A (zh) 用于在基于位置的用户接口中显示交互式预览信息的方法和装置
CN102985901A (zh) 用于为移动设备上基于位置的服务渲染对象的立体图及与其相关的内容的方法和装置
CN103906993A (zh) 用于基于感兴趣点(poi)信息构造道路网络的方法和设备
CN102939514A (zh) 用于位置服务的方法和装置
TW201447235A (zh) 用於決定位置偏移資訊之方法、設備和電腦可讀儲存媒體
JP2015007632A (ja) 位置オフセット情報を決定する方法および装置
TWI454663B (zh) 用於決定位置偏移資訊之方法、設備和電腦可讀儲存媒體

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151231

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

GR01 Patent grant
GR01 Patent grant