CN102804905B - 图像数据和地理要素数据的显示 - Google Patents

Abstract

一种移动计算装置包括外壳、摄像机、显示器、存储器和处理电路。所述外壳被配置成在使用时由用户携带。所述摄像机被配置成输出图像数据。所述存储器被配置成存储表示一个或多个地理要素的地理要素数据。所述处理电路被配置成接收多个地理要素的地理要素数据。所述处理电路被配置成确定摄像机取向。所述处理电路被配置成将图像数据和所述多个地理要素的地理要素数据同时显示在显示器上。

Description

图像数据和地理要素数据的显示

相关申请的交叉引用

本申请要求享有于2009年8月5日提交的美国专利申请No. 12/535841的权益，在此通过引用将其全文并入本文。

背景技术

可以将摄像机（camera）与很多类型的移动计算装置一起使用。一些移动计算装置还能够显示导航数据。还可以将定位装置与移动计算装置一起使用，以确定所述装置的位置，以及显示附近的兴趣点。

附图说明

图1是根据示范性实施例的移动计算装置的前视图。

图2是根据示范性实施例的移动计算装置的后视图。

图3是根据示范性实施例的图1和图2的移动计算装置的方框图。

图4是根据示范性实施例的用于显示图像数据和地理要素数据的系统的方框图。

图5是示出了根据示范性实施例的用于显示图像数据和地理要素数据的方法的流程图。

图6是根据示范性实施例的移动计算装置的示意图。

图7是示出了根据示范性实施例的用于显示图像数据和地理要素数据的系统和方法的图解和三个屏幕。

图8是示出了根据示范性实施例的图像处理系统和方法的流程图。

图9是根据示范性实施例的图1、图2、图3的移动计算装置的方框图。

图10是示出了基于个人数据显示地理要素数据的过程的流程图。

图11是示出了来自摄像机的视频帧与地理要素帧的未对准的图像。

图12是示出了使地理要素帧与视频帧对准的步骤的流程图。

图13是被配置为确定装置的取向（orientation）的该装置的方框图。

图14是示出了确定取向的过程的流程图。

具体实施方式

需要一种改进的系统和方法在诸如移动计算装置之类的计算装置的显示器上显示地理要素。此外，需要一种至少部分基于所述装置的取向和/或所述装置的用户所面对的方向显示地理要素的系统和方法。此外，还需要一种系统和方法，在装置的用户改变所述用户或装置所面对的方向时，所述系统和方法至少部分地基于更新的或者瞬时的取向数据来显示地理要素。此外，还需要一种系统和方法，其被配置成使用户能够使移动计算装置指向某一位置或地理要素，并获得有关所述地理要素的信息（例如，街道名称、地标等）。

首先参考图1，其示出了移动计算装置100。装置100是一种智能电话，其是移动电话和具有个人数字助理功能的手持计算机的结合。可以将本文的教导应用于其他可以被配置成在使用过程中由用户携带的移动计算装置（例如，膝上型计算机、数字摄像机、摄像机电话、个人导航装置等）或者应用于其他电子装置（例如，台式个人计算机等）。个人数字助理功能可以包括个人信息管理功能（例如，e-mail、日历、联系人/通迅录、便笺、书签、收藏夹（favorites）等）、数据库功能、文字处理、电子表格、语音备忘录等中的一项或多项，并且可以被配置成使来自一个或多个应用的个人信息与计算机132同步（例如，台式计算机、膝上型计算机、远程联网服务器等）。装置100可以包括通用微处理器，其还被配置为接收并运行在制造之后通过（例如）有线或无线下载、安全数字卡（SecureDigital card）等提供给装置100的附加应用。

装置100包括具有正面13和背面17（图2）的外壳11。将听筒扬声器15、扩音器16和用户输入装置耦合至外壳11。外壳11被配置成在用户输入装置的上方以固定或滑动关系容纳屏幕，所述屏幕处于与所述用户输入装置基本平行的平面内或者与之处于同一平面内。这一固定或者滑动关系不包括屏幕和多个键之间的铰接关系。装置100可以是手持计算机，其可以是小到足以在一条裤子的典型前口袋中携带的计算机，其包括诸如典型的移动电话、个人数字助理和某些数字摄像机之类的装置，但不包括典型的膝上型计算机、平板PC和较大的数字摄像机。在可替换实施例中，可以使显示器112、用户输入装置110、听筒15和扩音器16中的每一个位于正面13、背面17或者其间的边缘上的任何位置。

在各种实施例中，装置100具有不超过大约200mm或者不超过大约100mm的宽度（较短的维度）。根据这些实施例中的一些，外壳11具有不超过大约85mm，或者不超过大约65mm的宽度。根据一些实施例，外壳11具有至少大约30mm或者至少大约50mm的宽度。根据这些实施例中的一些，外壳11具有至少大约55mm的宽度。

在一些实施例中，外壳11具有不超过大约200mm或者不超过大约150mm的长度（较长的维度）。根据这些实施例中的一些，外壳11具有不超过大约135mm或者不超过大约125mm的长度。根据一些实施例，外壳11具有至少大约70mm或者至少大约100mm的长度。根据这些实施例中的一些，外壳11具有至少大约110mm的长度。

在一些实施例中，外壳11具有不超过大约150mm或者不超过大约50mm的厚度（最小的维度）。根据这些实施例中的一些，外壳11具有不超过大约30mm或者不超过大约25mm的厚度。根据一些实施例，外壳11具有至少大约10mm或者至少大约15mm的厚度。根据这些实施例中的一些，外壳11具有至少大约50mm的厚度。

在一些实施例中，外壳11具有最高可达大约2500立方厘米和/或最高可达大约1500立方厘米的体积。在这些实施例中的一些当中，外壳11具有最高可达大约1000立方厘米和/或最高可达大约600立方厘米的体积。

尽管是参照手持装置进行描述，但是很多实施例都可以用于非手持的便携式装置和/或非便携式装置/系统。

装置100可以根据不同类型的蜂窝式无线电话系统提供语音通信功能。蜂窝式无线电话系统的例子可以包括码分多址（CDMA）蜂窝式无线电话通信系统、全球移动通信系统（GSM）蜂窝式无线电话系统等。

除了语音通信功能之外，可以将装置100配置成根据不同类型的蜂窝式无线电话系统提供数据通信功能。提供数据通信服务的蜂窝式无线电话系统的例子可以包括具有通用分组无线业务（GPRS）的GSM系统（GSM/GPRS）、CDMA/1xRTT系统、全球演进的增强数据速率（EDGE）系统、仅数据演进或演进数据优化（EV-DO）系统等。

可以将装置100配置成根据不同类型的无线网络系统提供语音和/或数据通信功能。无线网络系统的例子还可以包括无线局域网（WLAN）系统、无线城域网（WMAN）系统、无线广域网（WWAN）系统等。提供数据通信服务的适当无线网络系统的例子可以包括电气和电子工程师学会（IEEE）802.xx系列协议（例如IEEE 802.11a/b/gn系列标准协议和变体（又称为“WiFi”）、IEEE 802.16系列标准协议和变体（又称为“WiMAX”）、IEEE 802.20系列标准协议和变体），无线个域网（PAN）系统（例如根据蓝牙特别兴趣小组（SIG）系列协议工作的蓝牙系统）。

如图3的实施例中所示，装置100可以包括处理电路101，其可以包括双处理器架构，该架构包括主处理器102和无线电处理器104（例如，基带处理器）。可以将所述主处理器102和所述无线电处理器104配置成使用接口106相互通信，例如，所述接口为一个或多个通用串行总线（USB）接口、微USB接口、通用异步接收器－发射器（UART）接口、通用输入/输出（GPIO）接口、控制/状态线、控制/数据线、共享存储器等。

主处理器102可以负责执行诸如应用程序和系统程序之类的各种软件程序，从而为装置100提供计算和处理操作。无线电处理器104可以负责为装置100执行各种语音和数据通信操作，例如，通过一个或多个无线通信信道发射和接收语音和数据信息。尽管为了举例说明的目的可以将所述双处理器架构的实施例描述为包括主处理器102和无线电处理器104，但是装置100的所述双处理器架构可以包括额外的处理器，可以将其实现为使主处理器102和无线电处理器104二者位于单个芯片上的双核或多核芯片等。可替换地，处理电路101可以包括任何适于与本文公开的实施例一起使用的数字和/或模拟电路元件，包括分立的和/或固态的部件。

在各种实施例中，可以使用任何适当的处理器或逻辑装置（例如，通用处理器）将主处理器102实现为主中央处理单元（CPU）。在可替换实施例中，主处理器102可以包括或者可以将其实现为片上多处理器（CMP）、专用处理器、嵌入式处理器、媒体处理器、输入/输出处理器、协处理器、现场可编程门阵列（FPGA）、可编程逻辑器件（PLD）或者其他处理装置。

可以将主处理器102配置为向装置100提供处理或计算资源。例如，主处理器102可以负责执行诸如应用程序和系统程序之类的各种软件程序，从而为装置100提供计算和处理操作。例如，应用程序的例子可以包括电话应用、语音邮件应用、电子邮件应用、即时消息（IM）应用、短消息服务（SMS）应用、多媒体消息服务（MMS）应用、web浏览器应用、个人信息管理器（PIM）应用、联系人管理应用、日历应用、日程安排应用、任务管理应用、文字处理应用、电子表格应用、数据库应用、视频播放器应用、音频播放器应用、多媒体播放器应用、数字摄像机应用、视频摄像机应用、媒体管理应用、游戏应用等。所述应用软件可以提供用于在装置100和用户之间传达信息的图形用户界面（GUI）。

系统程序辅助计算机系统的运行。系统程序可以直接负责对计算机系统的各个硬件部件进行控制、整合和管理。系统程序的例子可以包括（例如）操作系统（OS）、设备驱动程序、编程工具、实用程序、软件库、应用编程接口（API）、图形用户界面（GUI）等。装置100可以根据所描述的实施例采用任何适当的OS，例如，Palm OS®、Palm OS® Cobalt、Palm WebOS、Microsoft® Windows OS、Microsoft Windows® CE、Microsoft Pocket PC、Microsoft Mobile、Symbian OS^TM、Embedix OS、Linux、无线二进制运行时环境(BREW) OS、JavaOS、无线应用协议(WAP) OS等等。

装置100可以包括耦合至主处理器102的存储器108和耦合至无线电处理器104的存储器124。可以将装置100配置成对耦合至远程计算机132的存储器152进行无线访问。在各种实施例中，可以将存储器108、124配置成存储一个或多个要由主处理器102或无线电处理器104执行的软件程序。可以使用任何能够存储数据的机器可读或者计算机可读介质实现存储器108、124、152，例如，易失性存储器或非易失性存储器、可移除或不可移除存储器、可擦除或不可擦除存储器、可写或可重写存储器等。机器可读存储介质的例子可以包括但不限于随机存取存储器（RAM）、动态RAM（DRAM）、双倍数据速率DRAM（DDRAM）、同步DRAM（SDRAM）、静态（RAM）（SRAM）、只读存储器（ROM）、可编程ROM（PROM）、可擦可编程ROM（EPROM）、电可擦可编程ROM（EEPROM）、闪速存储器（例如，NOR或NAND闪速存储器）或者任何其他类型的适于存储信息的介质。

尽管出于举例说明的目的可以将存储器108、124示为与主处理器102和无线电处理器104分离，但是在各种实施例中，可以使某一部分或者整个存储器108包含在与主处理器102相同的集成电路上。可替换地，可以将某一部分或者整个存储器108、124设置在处于主处理器102的集成电路外部的集成电路或其他介质（例如，硬盘驱动器）上。在各种实施例中，装置100可以包括扩展槽，以支持多媒体和/或存储卡，例如，并且存储器108、124可以是可移除存储装置。

装置100可以包括耦合至主处理器102的用户输入装置110。用户输入装置110可以包括（例如）QWERTY键布局和集成的数字拨号小键盘。装置100还可以包括各种键、按钮和开关，例如，输入键、预置和可编程热键、左右动作按钮、诸如多方向导航按钮之类的导航按钮、电话/发送和电源/结束按钮、预置和可编程快捷按钮、音量摇杆开关、具有振动模式的铃声开启/关闭开关、小键盘、字母数字小键盘、触摸屏、触摸板、语音或话音识别装置等。

可以将主处理器102耦合至显示器112。显示器112可以包括任何适当的用于向装置100的用户显示内容的可视界面。例如，可以通过液晶显示器（LCD），例如，触敏彩色（例如，16位彩色）薄膜晶体管（TFT）LCD屏幕来实现显示器112。在一些实施例中，可以将触敏LCD与指示笔和/或手写识别程序一起使用。

装置100可以包括耦合到主处理器102的输入/输出（I/O）接口114以及耦合至无线电处理器的I/O接口128。I/O接口114、128可以包括一个或多个I/O装置，例如，串联端口、红外端口、集成Bluetooth®无线功能和/或集成802.11x（WiFi）无线功能，从而实现与诸如本地个人计算机（PC）之类的本地计算机系统的有线（例如，USB电缆）和/或无线连接。在各种实现中，可以将装置100配置成与所述本地计算机系统之间传送和/或同步信息。

可以将主处理器102耦合至各种支持装置100的A/V功能的音频/视频（A/V）装置116。A/V装置116的例子可以包括（例如）麦克风、一个或多个扬声器、连接音频耳机的音频端口、音频编码器/解码器（编解码器）、音频播放器、数字摄像机、视频摄像机、视频编解码器、视频播放器等。

可以将主处理器102耦合至电源118，后者被配置为向装置100的元件供电以及管理到所述元件的功率。在各种实施例中，可以通过提供直流（DC）功率的可再充电电池，例如，可移除并且可再充电的锂离子电池和/或从标准AC主电源汲取功率的交流（AC）适配器实现电源118。

装置100可以包括耦合至无线电处理器104的收发器120。收发器120可以包括一个或多个被配置成采用不同类型的协议、通信范围、运行功率要求、RF子带、信息类型（例如，语音或数据）、使用情境、应用等进行通信的收发器。

对于给定实现而言，可以根据要求采用一个或多个芯片实现收发器120。尽管出于举例说明的目的可以将收发器120示为与无线电处理器104分离并且处于其外部，但是在各种实施例中，可以将某一部分或整个收发器120包含在与无线电处理器104相同的集成电路上。

装置100可以包括用于发射和/或接收电信号的天线系统122。如图所示，可以将天线系统122通过收发器120耦合至无线电处理器104。所述天线系统122可以包括或者可以被实现为一个或多个内部天线和/或外部天线。

装置100可以包括耦合至无线电处理器104的用户身份模块（SIM）126。所述SIM 126可以包括（例如）可移除或不可移除的智能卡，其被配置成对语音和数据传输进行加密，以及存储用户特定数据，从而允许语音或数据通信网络识别和认证用户。所述SIM 126还可以存储数据，例如，特定于用户的个人设置。

装置100可以包括一个或多个磁检测装置177和/或非磁检测装置179。磁检测装置177可以被配置成通过检测磁场来测量装置100的取向；非磁检测装置179可以被配置成测量装置100的取向或取向变化。磁检测装置的例子可以包括指南针、磁力计、电子指南针等。非磁检测装置的例子包括陀螺仪、电子陀螺仪、加速度计、摄像机、GPS接收器或电路、接近传感器、扬声器或音频输入、光传感器等。

在各种实施例，装置100可以包括定位或位置确定功能。装置100可以采用一种或多种位置确定技术，例如，包括全球定位系统（GPS）技术、蜂窝全球识别（CGI）技术、包括定时提前（TA）的CGI技术、增强前向链路三边测量（EFLT）技术、到达时差（TDOA）技术、到达角度（AOA）技术、高级前向链路三边测量（AFTL）技术、观测到达时间差（OTDOA）、增强观测时间差（EOTD）技术、辅助GPS（AGPS）技术、混合技术（例如用于CDMA网络的GPS/CGI、AGPS/CGI、GPS/AFTL或AGPS/AFTL，用于GSM/GPRS网络的GPS/EOTD或AGPS/EOTD，用于UMTS网络的GPS/OTDOA或AGPS/OTDOA）等。

装置100可以被配置成接收位置数据，并使所述位置数据与装置100所捕获的数字图像相关联或者供诸如导航应用之类的其他应用使用。装置100可以包括本地位置确定电路134（例如，GPS接收器），其可以集成到外壳11（图1）内，其被配置成通过天线135接收卫星数据，并计算定位。可替换地，本地位置确定电路可以包括处于与外壳11分离的第二外壳内但是处于装置100附近的GPS接收器，其被配置成与装置100无线通信（例如，通过诸如蓝牙之类的PAN）。装置100可以被配置成通过无线电接入网络130（例如UMTS无线电接入网络）与远程计算机132（例如，位置确定实体（PDE））、位置代理服务器（LPS）和/或移动定位中心（MPC）等）通信。

在辅助移动计算装置100时，远程计算机132可以运用各种处理操作，并且还可以提供用于辅助位置确定的信息。定位辅助数据的例子可以包括基于卫星的测量结果、基于地面的测量结果和/或基于系统的测量结果，例如，卫星天文年历信息、GPS代码相位测量结果、电离层数据、星历表数据、时间校正信息、高度估计、定时偏差、前向/反向链路校准、粗略数据等。

主处理器102可以包括和/或实施至少一个LBS（基于位置的服务）应用。一般而言，LBS应用可以包括任何类型的由主处理器102执行的客户端应用，例如，GPS应用，其被配置成传达位置请求（例如，定位请求）和位置响应。LBS应用的例子包括但不限于无线911应急服务、道路救援、资产跟踪、车队管理、朋友和家人定位器服务、约会服务和导航服务（其可以为用户提供地图、方向、路线、交通更新、公共交通时刻表、有关当地兴趣点（POI）的信息，例如，饭店、宾馆、地标和娱乐地点），以及根据所描述的实施例的其他类型的LBS服务。

现在参考图4，将描述一种用于显示图像数据和地理要素数据的系统。可以将一些或所有地理要素数据存储在装置100上的存储器108、124上和/或位于远程计算机132上的存储器152上（图1）。在将地理要素数据存储在存储器108、124上的实施例中，所述地理要素数据中的一些或者全部可能是从远程计算机132上的存储器152中下载的。摄像机150可以（例如，有线或无线）耦合至处理电路101，并且被配置成向所述处理电路101输出图像数据（人或物的摄影数据，例如，视频数据、数字静止图像数据等）。位置确定电路134和用户输入装置110也可以耦合至处理电路101。

在这一实施例中，可以将存储器108、124或152配置成存储表示一个或多个地理要素的地理要素数据。地理要素可以包括建筑物、街道、名胜、沿途点、水域、桥梁、雕塑、纪念碑、停车场、小路或者用户可能发现有用或者感兴趣的其他地理要素或其他点位置。地理要素还可以包括村、镇、市、县、州、国家及其边界以及其他地理区域等。地理要素数据可以包括名称、地址、位置、维度和经度坐标、大小、深度、历史数据、诸如营业时间、人口、建筑物内部图、博物馆活动、开放时间、赠券、与商店特色商品的链接、与公共汽车站相关的汽车时刻表、房价（有可能来自Zillow，或者如果它们是出售的）、门牌号、其他文本、图像、视频和/或音频数据的信息数据以及其他与地理要素相关的数据。

现在参考图9，装置100与被配置成与因特网连接的计算机连接。可以采用任何技术使计算机132与因特网连接。这样的技术的例子包括铜线、光纤电缆和无线连接。可以采用任何方法使处理电路101与计算机132连接。在一个例子中，可以采用无线连接使装置100与计算机132连接。在另一个例子中，装置100处于与计算机132连接的托架（cradle）内。在又另一个例子中，装置100和计算机132二者均与因特网连接，并且它们通过因特网相互通信。

在一个示范性实施例中，计算机132是由提供地理要素数据的公司维护的服务器。存储器152可以存储一个或多个地理要素的地理要素数据的数据库。在另一个示范性实施例中，计算机132可以是由任何个人或实体维护的、被配置成通过因特网共享地理要素数据的任何计算机。

处理电路101被配置成接收一个或多个地理要素的地理要素数据，确定摄像机150的取向以及在显示器112上同时显示图像数据和一个或多个地理要素的地理要素数据。可以一个接一个地（例如，图像数据后面接着地理要素数据，地理要素数据后面接着图像数据等）或基本同时地呈现所述数据类型。可以在单个软件显示屏上呈现所述数据类型，并且可以基本同时地呈现所述数据类型。可以接近于在图像数据中示出的地理要素、在其之上、与之对准或者与之相邻地显示地理要素数据。

在一个实施例中，可以将处理电路101配置成至少部分地通过图像处理算法来确定或估计摄像机150或装置100的取向或方向。可以将所述图像处理算法配置成将第一图像与后续的第二图像进行比较，以识别出表示图像内的对象的移动的图像部分，并基于所识别出的表示移动的部分确定摄像机的取向变化。下文将参考图7和图8描述一种示范性图像处理算法。

在可替换实施例中，可以将处理电路101配置成至少部分通过位置确定电路134确定摄像机150的取向。处理电路101可以通过采用位置确定电路134对第一时间的装置位置和第二时间的装置位置进行比较以确定摄像机150的取向。在另一可替换实施例中，处理电路101可以至少部分地通过来自用户输入装置110的用户输入来确定摄像机150的取向，其中，用户向装置100提供取向（例如，基点方位或基点间方位或其他取向数据、面向特定地理要素等）。可替换地，指南针、陀螺仪或其他方向指示装置可以提供摄像机150的取向。在另一个可替换实施例中，可以将这些用于确定摄像机150的取向的系统中的两者或多者结合使用。例如，处理电路101可以通过来自用户输入装置110的用户输入或者来自位置确定电路134的位置数据来确定摄像机150的初始取向，并且可以通过图像处理算法来确定摄像机150的取向的任何后续变化。

可以将处理电路101配置成在显示器112上同时显示接收自摄像机150的图像数据和接收自存储器108、124或152的地理要素数据。可以将处理电路101配置成部分地基于由所述取向数据和/或当前位置数据指示的摄像机150的视场来确定所要显示的地理要素数据。可以将处理电路101配置成只显示表示摄像机150的视场内的地理要素的地理要素数据。可替换地，可以将处理电路101配置成显示表示不处于摄像机150的视场内的地理要素的相对位置的方向指示器。处理电路101可以通过将摄像机150的取向与地理要素的位置和大小数据进行比较来确定所述地理要素是否在摄像机150的视场内。

在另一实施例中，可以将处理电路101配置成至少部分地基于来自位置确定电路134的装置位置数据来选择地理要素数据。可以将处理电路101配置成只选择在距装置位置的设定距离内的地理要素的地理要素数据。在另一实施例中，可以将处理电路101配置成仅选择处于由用户通过用户输入装置110选择的距离内的地理要素的地理要素数据。

在又另一实施例中，可以将处理电路101配置成在第一模式中显示一个或多个地理要素，并且在第二模式中使用户能够选择所述地理要素中的一个或多个的地理要素数据，使之与所述图像数据同时显示。在所述第二模式中，用户可以通过采用用户输入装置110选择一个或多个地理要素的地理要素数据来限制显示的地理要素数据。处理电路101被配置成基于来自用户的指令有选择地显示一个或多个地理要素的地理要素数据。用户可以通过输入装置110向装置100传达指令。来自用户的指令可以是任何反映用户的有关要显示什么地理要素数据的意图的指令。用户可以采用一种或多种可能的选择方法来选择地理要素数据，例如，触摸显示器112上的一个或多个地理要素（如果显示器112是触敏型的话），采用小键盘或者一个或多个按钮选择地理要素数据，采用语音命令选择地理要素数据以及其他选择方法。可以将处理电路101配置成只有在用户选择了地理要素数据时才在第二模式中显示所述地理要素数据。在一个实施例中，用户可以选择是在第一模式中还是在第二模式中显示地理要素数据。

在另一实施例中，可以将处理电路101配置成接收针对所要寻找的具体地理要素的用户输入。例如，可以将电路101配置成向具有搜索条或其他输入栏的形式的显示发送显示数据。可以在搜索条处接收用户输入数据，例如“最近的星巴克”或者“西尔斯大厦”。于是，可以将电路101配置成生成或者接收请求地理要素或兴趣点的位置数据。于是，电路101可以接收装置100的当前位置和/或取向。于是，电路101可以计算从装置100到兴趣点的方向和/或距离，并且可以在显示器上进一步显示一个或多个箭头，从而向用户指示使装置100指向所请求的地理要素的取向。在通过装置100的摄像机观看时，将发现所述地理要素，并且可以采用在此所述的地理要素数据覆盖所述地理要素。

在另一实施例中，可以将处理电路101配置成显示区分标记，其将所述地理要素中的至少一个与所述地理要素中的另一个区分开。所述区分标记可以是几何形状，例如，包围部分或整个地理要素的矩形或椭圆形，还可以是颜色、对比度或亮度的改变、箭头或其他方向指示器、闪烁指示器或者其他区分标记。在一个示范性实施例中，可以将处理电路101配置成显示摄像机150的视场内的所有可获得地理要素数据的地理要素的区分标记。在另一示范性实施例中，可以将处理电路101配置成至少部分地基于地理要素数据显示一个或多个地理要素的区分标记（例如，使所有的街道、所有的建筑物、特定街道上的所有地理要素等突出显示）。在又另一示范性实施例中，可以将处理电路101配置成允许用户通过用户输入装置110选择一个或多个要采用区分标记进行区分的地理要素。

根据另一示范性实施例，可以将存储器108、124、152配置成存储表示一个或多个地理要素的地理要素数据，并且可以将处理电路101配置成接收一个或多个地理要素的地理要素数据，确定摄像机150的取向，以及将接收自摄像机150的图像数据以及地理要素数据同时显示在显示器112上。在这一实施例中，将处理电路101配置成在摄像机取向变化时使地理要素数据在显示器上沿至少两个维度，例如，水平方向和竖直方向移动。在这一实施例中，地理要素数据可以在摄像机取向变化时在显示器上保持与图像数据的位置关系。处理电路101可以向地理要素数据分配显示坐标并在摄像机150的取向变化时更新所述坐标，由此实现这一目的。所述地理要素数据可以包括文本数据、图像数据、视频数据和/或音频数据。可以将处理电路101配置成至少部分通过图像处理算法来确定摄像机150的取向。还可以将处理电路101配置成至少部分地基于位置确定电路134提供的装置位置数据来选择地理要素数据。

现在参考图5，将描述一种提供显示图像和地理要素数据的示范性方法。在步骤170中，所述方法包括从摄像机输出图像数据，并在移动计算装置的处理电路101内接收所述图像数据。在步骤172中，所述方法包括将表示地理要素的地理要素数据存储在存储器内，并在处理电路101中接收来自所述存储器的地理要素数据。在步骤174中，所述方法包括确定摄像机的取向。在步骤176中，所述方法包括将图像数据和地理要素数据同时显示在显示器上。例如，所述方法可以包括显示某一建筑物的图像数据和地理要素数据。所述方法可以包括从摄像机接收建筑物的图像，从存储器接收所述建筑物的名称和地址，确定摄像机的取向，以及同时显示所述建筑物的图像和表示所述建筑物的名称和地址的文本。

根据另一示范性实施例，可以将处理电路101配置成从摄像机150接收图像，且从所述图像中提取数据，以及将所提取的数据保存为地理要素的地理要素数据的部分。处理电路101可以采用光学字符识别（OCR）或者其他从图像提取数据的方法从图像提取数据。在一个实施例中，可以采用摄像机150捕获路标、广告牌或者其他标志的图像，并且处理电路101可以由所述图像提取文字。

根据另一示范性实施例，可以使来自摄像机的图像数据连同地理要素数据一起实时显示。摄像机可以输出图像数据，例如数字静止图像、视频摄像机馈送视频或实况视频或者其他图像。

根据另一示范性实施例，可以将处理电路101配置成在用户启动可在电路101上运行的摄像机应用时或者在用户启动专用应用时，在视频摄像机显示上叠加导航信息或地理要素数据。

现在参考图6，其示出了根据示范性实施例的屏幕显示。屏幕显示200包括边框202，其示出了与无线电话、电池寿命、当日时间等相关的各种图标204。在屏幕显示200的图像区域206内示出了来自摄像机150的图像。在这一示范性实施例中，通过几种示范性形式将地理要素数据与所述图像一起同时显示（例如，覆盖、叠加等）。在标记208（美国银行）和210（西尔斯大厦）处示出了针对建筑物的地理要素数据。标记208包括围绕在矩形边框内的地理要素文本数据，其被设置为与和美国银行大楼相关联的图像数据212相邻、重叠或者接近。标记210包括围绕在椭圆形边框内的地理要素文本数据，其被设置为与和西尔斯大厦的建筑物相关联的图像数据214相邻、重叠或接近。椭圆形边框可以指示所述地理要素的特征（例如，西尔斯大厦处于一定距离以外，或者坐落在地平线上或者接近地平线），或者可以是一种可替换的显示地理文本数据的图形方式。标记214示出了街道数据（例如，主街），其可以设置在图像数据中的路标上或者附近或者设置在标记218所示的街道上。可替换地，路标216可以是处理电路101生成的叠加在图像数据上以显示街道的名称的图形要素。将标记220设置在邻近垂直位置上，以说明附近的地理要素（例如，汽车加油站），其还带有指示所述的附近的地理要素的方向的箭头。

根据一个示范性实施例，在用户改变显示200的取向时，图像数据和地理要素数据（由所述标记表示的）也将发生移动，并且可以在显示屏幕200上呈现新的图像数据和对应的地理要素数据。

根据另一示范性实施例，所述标记可以发生颜色或尺寸的变化，以指示接近度、兴趣点、预选目的地等。

现在参考图7，将描述根据另一示范性实施例的用于显示图像数据和地理要素数据的系统和方法。图解230是具有地理要素的示范性地理位置的示意图，所述地理要素包括建筑物232、第一街道234和第二街道236。箭头238指示北，且X指示用户使用装置100的位置。虚线箭头240指示装置100上的摄像机面对的初始方向。

在这一示范性实施例中，图像数据和地理要素数据的显示包括对准摄像机的第一阶段。所述对准是在最初开启所述应用时，或者是在每次装置100失去对准时，或者是在其他时间执行的。在第二阶段，装置100被配置成获取（retrieve）地理要素数据，并将所述地理要素数据叠加在来自摄像机的图像数据上。可以针对所述摄像机生成的每一视频帧执行所述第二阶段。

在摄像机对准阶段，运行于处理电路101上的应用将获取装置100的当前地理位置，从存储器获取默认取向（例如，北）并重叠、叠加、覆盖或者同时显示摄像机图像和在摄像机面对默认取向的情况下将出现在摄像机视图内的地理要素数据。屏幕242示出了对准之前的地理要素帧或图像，其包括建筑物244的地理要素数据和两个街道地理要素246、248，以及任选的图形要素帧的边缘250。屏幕244示出了在对准之前当摄像机面对初始取向或方向240时叠加在摄像机图像上的地理要素帧。要素244、246、248和250叠加在摄像机图像上，所述图像示出了建筑物232和252、街道236以及周围地理要素的摄像机图像。

接下来，用户可以使摄像机摇摄，并使瞬时视频帧与叠加的地理要素数据对准，直到屏幕显示如屏幕254所示为止。处理电路101可以配置按钮、软键或者其他快捷键，以接收来自用户的对何时视频帧与所叠加的地理要素数据对准的指示。例如，5向（5-way）导航系统115的中心按钮113可以是快捷键。可以将处理电路101配置成通过快捷键接收来自用户的指示，从而使所述应用确定视频帧或者摄像机帧与地理要素数据对准。之后，所述应用将进行至第二阶段。

在地理要素获取和叠加阶段，将在相继的视频帧之间连续地计算运动矢量帧，下文将参考图8对此予以描述。可以将处理电路101配置成将这些运动矢量应用到当前的地理要素帧，以估计新的地理要素帧和将构成所述新的地理要素帧的地理要素数据。可以使所述新的地理要素帧叠加在当前的视频帧上。

在存在未对准的情况下，例如，在当前地理要素数据与当前视频帧不匹配时，所述应用可以被配置成获取面向北方的地理要素，并且可以重复所述过程，该步骤可以是以人工或自动的方式发生的。

图11示出了地理要素帧和当前视频帧之间的未对准的效果。建筑物1101和1102是接收自摄像机的地理要素的图像。建筑物1111和1112是接收自计算机的地理要素。建筑物1101和1111应当表示现实中的同一建筑物。建筑物1102和1112应当表示现实中的同一建筑物。在它们未对准时，地理要素数据将出现在显示器上的错误位置。所述未对准可能是由装置100的不准确的定位，装置100的不准确的取向，接收自计算机的地理要素的位置不精确等等因素导致的。

图8图示了示出示范性图像处理算法的流程图。如上文所述，所述算法可以在第二阶段内运行于处理电路101上。在步骤260中，将在时刻t1和t2处的来自摄像机的视频帧分割成多个宏块（例如，8×8，或其他数量），并对其进行比较，其中，所述视频帧可以是相继的视频帧，也可以是处于不同时刻的其他视频帧。对于来自t1处的旧帧的每一宏块，处理电路101被配置成计算与t2处的新帧内的8个相邻宏块的相关性。记录具有最高相关性的相邻块。然后，处理电路101被配置成计算或者确定与具有最高相关性的相邻宏块相对应的运动矢量。所述运动矢量可以具有(x,y)的形式，其中x和y可以取三个值（-1、0、1）中的一个。因而，对于每个宏块，可以根据运动方向生成8个可能的运动矢量。生成整个帧的或者所述帧的至少一部分的运动矢量，以提供运动矢量矩阵262。可替换地，可以采用其他方法计算运动矢量矩阵262，或者确定装置100的取向变化。

在步骤264中，基于第一地理要素帧266和运动矢量矩阵262提供新的地理要素帧268。根据需要从存储器中获取地理要素数据，并根据需要对其重定向或者重定位，以创建新的地理要素帧268。之后，在步骤270中，将所述新的帧268叠加在t2处的新帧上。在步骤272中，采用叠加了新的地理要素帧268的来自摄像机的视频帧来更新装置100的显示屏。

图12示出了使接收自计算机132的对应地理要素数据与所显示的地理要素对准的步骤。处理电路101被配置成识别或者确定建筑物的一个或多个拐角在哪，以及确定参考或对准数据或指示器。处理电路101被配置成检测所显示的地理要素的边界、边缘和/或拐角，并确定参考（步骤1201）。处理电路101从存储器108、存储器124或计算机132接收地理要素的边界、边缘、拐角和/或位置信息。在步骤1202中，处理电路101接收地理要素的边界、边缘和/或位置信息。在步骤1203中，处理电路101确定对应于地理要素的图像。在步骤1204中，处理电路101可以在显示器中的对应图像的附近显示地理要素数据。可替换地，可以将这一数据存储在存储器内以供比较，而不对其进行显示。处理电路101可以将所述图像的边界、边缘、拐角和/或位置与接收自计算机132的信息进行比较。图12中所示的对准过程能够增强传感器和GPS，从而提高地理要素的位置的准确度。在一个实施例中，处理电路101基于地理要素的相对位置、形状和/或大小将接收自计算机132的地理要素分配给接收自摄像机的地理要素图像。

在一个示范性实施例中，将处理电路101配置成通过检测图像亮度的急剧变化而检测所显示的地理要素的边界和/或边缘。处理电路101可以采用边缘检测或边缘辨别算法来识别图像中的点。检测图像亮度的急剧变化的目的在于捕获主要事件和景物特性的变化。在采取图像形成模型的情况下，图像亮度的不连续性有可能对应于：深度的不连续性、表面取向的不连续性、材料特性的变化和景物照度的变化。采用边缘检测/边缘辨别算法的一个作用在于增强装置100识别装置100指向什么地理要素的准确度。例如，在用户将装置100指向一个饭店，而紧挨着它还有一个饭店，装置100能够以更高的准确度辨别出装置100指向哪一个饭店。

图10示出了基于移动计算装置的用户的个人数据显示地理要素数据的过程。在一个示范性实施例中，处理电路101被配置成基于移动计算装置的用户的个人数据显示一个或多个地理要素的地理要素数据。在步骤1001中，处理电路101从存储器108、124或计算机132获取个人数据。在步骤1002中，处理电路101接收地理要素数据。在步骤1003中，处理电路101基于个人数据决定显示什么地理要素数据。例如，如果用户是AAA（美国汽车协会）或者提供折扣的本地无线电台或本地俱乐部的成员，那么可以将针对成员的打折信息显示成在该实体的建筑物上或附近显示的地理要素数据。可以切换接收个人数据的步骤1001和接收地理要素数据的步骤1002的序列。

个人数据可以是与用户相关的任何数据。个人数据的例子包括用户的姓名、用户的地址、用户先前存储的照片、用户在任何实体中的会员资格和隶属关系、PIM（个人信息管理）数据、财务数据、用户的任何个人信息等。个人数据可以包括员工标识或者其他指示用户在公司场所内的一个或多个到访级别的公司识别信息。也可以将个人数据配置成地理要素数据。例如，在用户存储了朋友的照片之后，在用户驾车经过朋友的住宅时，可以将朋友的图片作为地理要素数据与该住宅的图像一起显示出来。

图13示出了一种装置，其包括被配置成通过检测磁场来测量所述装置的取向的磁检测装置；被配置成测量所述装置的取向或取向变化的非磁检测装置；被配置成采用所述磁检测装置的测量结果确定所述装置的取向以及基于来自所述磁检测装置、非磁检测装置和/或另一数据源的信息切换至采用所述非磁检测装置的取向测量结果的处理电路。磁检测装置可以是任何通过检测磁场来测量取向的装置。磁检测装置的例子可以包括指南针、磁力计、电子指南针等。非磁检测装置可以是任何通过磁场检测以外的方法来测量取向的装置。非磁检测装置的例子包括陀螺仪、电子陀螺仪、加速度计、摄像机、GPS、接近传感器、扬声器或音频输入、光传感器等。装置的取向可以指装置的某一部分所面对的方向。例如，装置100的取向可以是摄像机所面对的方向。

图14示出了根据示范性实施例的采用所述处理电路来确定装置的取向的过程。在开启或启动应用时，处理电路101检查磁检测装置1301是否正常地工作。如果处理电路101基于来自磁检测装置1301的信息确定磁检测装置1301没有正常地工作，那么其将接收来自非磁检测装置1302的取向信息。例如，处理电路101可以根据非磁检测装置1302测量的取向判定磁检测装置1301检测到的磁场太弱，或者变化太快，并得出来自磁装置1301的取向信息不可靠的结论。如果处理电路101确定磁检测装置1301工作正常，那么处理电路101将采用磁检测装置1301来确定取向。处理电路101可以周期性地或者不断地检查磁检测装置1301的状态，以判断是否切换取向测量装置。

在一个示范性实施例中，可以将处理电路101配置成确定当前位置以及显示在当前位置周围都有什么地理要素。装置100还可以连同来自摄像机的示出了YELP（即相关地理要素）的图像一起，显示与所显示的地理要素相关的地理要素数据，例如，文字或评论（例如，来自在线评论服务，例如，加利福尼亚的旧金山）、用户评论、饭店评分乃至健康检查员评论。在文中描述的每一种情境下，可以由装置100通过无线连接从远程传感器获取视频和文本数据，例如，其中装置110向远程服务器发送位置和/或取向数据和/或地理要素数据，并且服务器返回与通过摄像机在装置100的显示器上观看的地理要素同时显示和/或显示在其附近的评论、评分或其他数据。

在一个示范性实施例中，可以将处理电路101配置成显示电影时间和评分。在将装置100带到接近电影院时，其中，使摄像机指向所述电影院，那么在处于摄像机视图内时所述电影可以弹出在装置100的显示器上。用户可以使用输入装置110指示装置100显示电影预告片或者购票。

在一个示范性实施例中，处理电路101可以基于当日时间或者来自光传感器的输入数据改变所显示的地理要素数据的颜色或亮度。在夜间，将地理要素数据的文本改为亮，而在日间则将所述文本改为暗。这一点与在住宅上覆盖街道地址信息相结合可能尤其有用，从而帮助用户在晚上找到特定的地址。

在一个示范性实施例中，处理电路101被配置成显示对政治选举或者行动小组有用的有关住宅的居住者的信息。与选举相关的地理要素数据的例子包括有关所述住宅的表决信息、是否有来自您的组织的任何人接近过所述住宅以及居住者与您的竞选活动的互动（例如，居住者是否给捐过款）。

在一个示范性实施例中，处理电路101被配置成显示与公用服务事业和电信服务相关的地理要素数据。例如，在有线电视公司的员工携带装置100驾车经过住宅时，装置100可以显示所有服务电话的全部历史、有关电缆接线盒在哪里、该住宅的居民有什么计划以及该住宅内有什么设备的信息。此外，管道工可以看到有关先前对该住宅的到访的数据，包括修理了什么，对什么收费了，更换了什么零件等。

在一个示范性实施例中，处理电路101被配置成显示与地标相关的地理要素数据。例子包括针对该地标的导游信息、博物馆的运营时间、即将在博物馆举办的活动以及基于用户的个人信息（例如会员资格）的折扣信息。

在一个示范性实施例中，处理电路101被配置成显示与零售商店相关的地理要素数据。地理要素数据的例子包括营业时间、赠券、与当前的在线或者门店特卖品的链接、减价商品以及店内货物的摆放位置。

在一个示范性实施例中，处理电路101被配置成在警察或者消防人员将装置100指向建筑物时显示所述建筑物的地图和示意图。

在一个示范性实施例中，处理电路101被配置成显示所有的线路和管道位于何处的示意图和/或东西在何处连接的虚拟视图。

在一个示范性实施例中，处理电路101被配置成在使装置100指向公共汽车站/火车站时显示公交车/火车是准点还是晚点。

在一个示范性实施例中，处理电路101被配置成在使装置100指向广告牌时显示与广告牌相关的地理要素数据。当广告牌显示“来看SF Giants”时，装置100被配置成显示游戏时间表和购票链接。在广告牌为一个很远的购物商场做广告时，装置100被配置成显示下载链接或者显示到达该购物商场的地图和方向。

在一个示范性实施例中，处理电路101被配置成显示住宅的图像，其中，在找到用户的朋友的住宅时，所述住宅发光。在这种情况下，地理要素数据是该住宅的所有者，并且通过使住宅发光或者如上文所述通过以其他方式使之突出显示来显示所述地理要素数据。

在一个示范性实施例中，处理电路101被配置成显示地理要素的线框图像。线框图像可以准确地反映地理要素数据的边界、边缘、拐角和/或框架。线框图像可以使感兴趣的区域的辨别更容易。

参考本公开和权利要求，短语“基于”的使用是指“至少部分基于”，且术语“一”或“一个”的使用是指“一个或多个”或者“至少一个”。此外，在可替换实施例中，可以使本文公开的任何方法的任何步骤与任何其他步骤相结合和/或将其与其他步骤重新排布。具体而言，各种实施例均可以使用本文公开的方法的部分或全部的不同组合。

在附图中示出的，并且在上文中描述的示范性实施例当前是示范性的，应当理解这些实施例只是通过举例的方式提供的。例如，尽管针对在移动计算装置上的使用对示范性实施例予以说明，但是文中的教导可以扩展至其他领域内的使用，例如，汽车、飞机等。因此，本发明不限于具体实施例，而是延伸至各种仍然落在所附权利要求的范围内的修改。

Claims (12)

1.一种移动计算装置，包括：

用来捕获视频数据的摄像机；

用来输出视频数据的显示器；

用来确定所述移动计算装置的当前位置的位置确定电路；

处理电路；以及

存储指令的一个或多个存储器资源，所述指令在被所述处理电路执行时，使得所述移动计算装置：

识别视频数据中的地理要素；基于摄像机的取向和当前位置，确定摄像机的视场；

在视频数据上叠加与所述地理要素相对应的地理指示器；并且

基于摄像机的视场变化通过以下在视频数据上重定位地理指示器：

将视频数据的每个帧分割成多个块；

计算视频数据的第一帧的第一块与视频数据的后续帧中包围第一块的多个相邻块的每一个之间的相关性；

识别具有与视频数据的第一帧中的第一块最高相关性的相邻块；

确定与所识别的相邻块相对应的一组运动矢量以针对视频数据的后续帧识别摄像机的视场变化；

基于第一帧和该组运动矢量创建地理指示器的新帧；以及

在视频数据的后续帧上叠加所述新帧。

2.根据权利要求1所述的移动计算装置，其中所述地理指示器包括文本数据。

3.根据权利要求1所述的移动计算装置，其中执行所述指令以叠加所述地理指示器使得所述移动计算装置显示区分标记，所述区分标记将与所述地理指示器中的第一指示器相对应的至少一个地理要素与所述地理指示器中的第二指示器相对应的另一地理要素区分开。

4.根据权利要求3所述的移动计算装置，其中所述区分标记包括区分颜色、区分对比度或亮度或闪烁指示器中的一个或多个。

5.根据权利要求1所述的移动计算装置，还包括移动电话和操作系统以存储个人信息管理应用并且使个人信息管理数据与远程联网服务器同步。

6.根据权利要求1所述的移动计算装置，其中所述位置确定电路包括全球定位系统接收器。

7.根据权利要求1所述的移动计算装置，其中地理指示器中的每一个都包括名称、地址、位置信息或对应地理要素的坐标中的至少一个，并且其中地理要素包括一个或多个建筑物、街道、名胜、沿途点、水域、桥梁、雕塑、纪念碑、停车场或道路。

8.一种用于操作移动计算装置的方法，所述方法由所述移动计算装置的一个或多个处理器执行并且包括：

通过所述移动计算装置的摄像机捕获视频数据；

将视频数据呈现在所述移动计算装置的显示器上；

确定所述移动计算装置的当前位置和所述摄像机的取向；

识别视频数据中的地理要素；

基于摄像机的取向和当前位置，确定摄像机的视场；

在视频数据上叠加与地理要素相对应的地理指示器；以及

基于摄像机的视场改变通过以下步骤在视频数据上重定位地理指示器：

将视频数据的每个帧分割成多个块；

计算视频数据的第一帧的第一块与视频数据的后续帧中包围第一块的多个相邻块的每一个之间的相关性；

识别具有与视频数据的第一帧中的第一块最高相关性的相邻块；

确定与所识别的相邻块相对应的一组运动矢量以针对视频数据的后续帧识别摄像机的视场变化；

基于第一帧和该组运动矢量创建地理指示器的新帧；以及

在视频数据的后续帧上叠加所述新帧。

9.根据权利要求8所述的方法，其中所述地理指示器包括文本数据。

10.根据权利要求8所述的方法，其中叠加所述地理指示器包括显示区分标记，所述区分标记将与所述地理指示器中的第一指示器相对应的至少一个地理要素与所述地理指示器中的第二指示器相对应的另一地理要素区分开。

11.根据权利要求10所述的方法，其中所述区分标记包括区分颜色、区分对比度或亮度或闪烁指示器中的一个或多个。

12.根据权利要求8所述的方法，其中地理指示器中的每一个都包括名称、地址、位置信息或对应地理要素的坐标中的至少一个，并且其中地理要素包括一个或多个建筑物、街道、名胜、沿途点、水域、桥梁、雕塑、纪念碑、停车场或道路。