CN102870147A - 创建和显示与实时图像相关的地图投影的系统和方法 - Google Patents

Abstract

本发明提供了一种创建并显示设备的实时取景区的地图投影以描绘虚拟对象的方法和系统，虚拟对象提供在设备取景区内显示的实时对象的反射图，此方法包括：在显示器显示从一个地理位置拍摄的设备取景区的实时图像；检索地图投影以将反射图呈现为关于设备当前地理位置并根据设备取景区的地面的抬高视图；将地图投影重叠在显示器上并叠加在实时图像的上部；定义被配置为显示地图投影与实时图像之间的关系的一个或多个标记，各标记叠加在显示器上并被配置为连接地图投影中的虚拟对象和实时图像上的相应实时对象。

Description

创建和显示与实时图像相关的地图投影的系统和方法

技术领域

 本申请涉及在用户界面上的地图投影的交互式可视表示（interactivevisual presentation，交互式可视显示）。具体地，本申请涉及一种在用户界面上显示地图投影以描绘在用户/设备取景区内显示的实时对象的反射图的系统和方法。

背景技术

目前，已存在许多导航系统，提供关于用户周边情况和地理状况的信息。一些GPS导航系统在

手机等特定设备或等特定GPS设备上显示出动画2D图像。这些2D系统被设计来提供动画街景地图的导航信息。GPS系统可提供街景视图、卫星视图以及地图混合视图。但观看第二设备会分散用户查看其周围环境的注意力。要把动画地图和用户看到的真实世界图像结合起来，同时还要尝试导航，用户也会感到迷惘。同样地，关于用户周围环境，这些GPS设备/应用程序也只能提供有限的信息。例如，它们可能提供动画街景地图、指南针以及方向信息来将用户指引至目的地。

也有一些3D GPS系统在车辆或飞机的挡风玻璃上提供有限量的导航信息。这样的导航系统成为平视显示，针对用户目前所在地和/或目的地来为用户投射基本方向信息。例如，一种情况就是将虚拟电缆线路投射到挡风玻璃上，以显示用户应在高速公路上行驶的方向。或者，在战斗机的窗户上投射3D指南针，以显示飞机的当前位置、高度以及方位，从而让飞行员了解其正朝向哪个方向。

通常情况下，术语增强现实（AR）是指物理现实世界环境的实时取景，物理现实世界环境的元素融合了虚拟电脑生成的影像，创造出混合现实。电脑生成影像显示为在用户观看到的物理世界之上的层。随着这种额外信息呈现给用户，物理世界被加强而超越了用户的正常经验。AR系统也同样用于日常生活中的移动设备，比如

和

设备的屏幕用来显示来自摄像机并融合了显示在屏幕上的虚拟元素的即时视频。采用增强现实方法的导航通常对现场场景进行了注释和文本描述以提供关于物理世界的信息。但这种方法遮蔽了现场场景并且只能提供关于物理世界的有限信息。另外，用户也很难将虚拟影像和物理世界联系起来。

相应地，现有GPS系统对用户的周围环境只能呈现有限的信息，用户难以在参考并尝试将GPS设备屏幕上显示的动画地图与现实世界联系起来而导航到目的地。

发明内容

根据一方面，提供了一种导航系统，可将现实世界图像与虚拟地图图像联系起来并改进了导航。虚拟地图图像包括例如虚拟航空和/或卫星影像、栅格（raster）或矢量地图图像。根据本方面，导航系统显示地图投影，包括用户/设备取景区（user/device’s viewing area，用户/设备可视区）内观看到的实时对象的反射虚拟视图，以辅助导航并增强对当前周围环境的了解。

根据一方面，提供了一种创建并显示设备实时取景区的地图投影的方法，以描绘提供设备取景区内的实时对象的反射图（reflected view，反射视图）的虚拟对象，此方法包括：在显示器（display，显示部分）上显示从一个地理位置拍摄的设备取景区的实时图像；检索地图投影以便将反射图展现为关于设备当前地理位置并根据设备取景区的地面的抬高视图（elevated view）；将地图投影重叠在实时图像的上部的显示器上；定义一个或多个标记，被配置为示出地图投影与实时图像之间的关系，各标记重叠在显示器上并被配置为连接地图投影中的虚拟对象和实时图像上的对应实时对象。根据一方面，地图投影包括航空和/或卫星影像、栅格或矢量地图图像。

根据本发明的另一方面，提供了一种变换地图投影的方法和系统。地图投影显示实时平面中的实时对象的反射图。地图投影被变换到至少具有以下表面中的一种的表面上：抛物线表面、弧形表面、平面、成角度的平面（angled planar surface）、旋转曲面、相对于所显示的实时对象偏移的表面、相对于地图投影至少一部分被放大的表面、相对于地图投影至少一部分被压缩的表面、具有提供在地图投影中的虚拟对象子集的表面。变换的选择基于预定标准（即用于提供改善的特定虚拟对象可见性或聚焦在此虚拟对象的特定区域的用户偏好）进行。

附图说明

参考以下附图和对优选实施方式的具体说明，可更好地理解本发明的这些以及其他实施方式，其中：

图1A是可视化工具的数据处理系统的框图，而图1B是具体细节的框图；

图2是根据一个实施方式的可视化工具和关联部件的框图；

图3是根据另一实施方式的具有变换模块的可视化工具的框图；

图4是根据实施方式的可视化工具的代表性屏幕截图，示出了显示在实时图像上的投影图像及它们之间的关系；

图5A至图9C是根据其他实施方式的描绘可视化工具的变换模块应用到投影图像上的其他变换的代表性视图；

图10是根据一个实施方式的可视化工具的代表性屏幕截图，示出了显示在实时图像上的投影图像，采用一个或多个矢量地图、矢量、注释和符号来表示投影的虚拟图像；

图11至图14和图16是描绘根据其他实施方式的由变换模块对投影图像进行其他变换的代表性视图；

图15是示出了根据一个实施方式的创建和显示地图投影的过程的示意图。

具体实施方式

数据处理系统100

参考图1A，可视化数据处理系统100包括检索和处理虚拟图像信息14的集作为至用户界面202的输入数据元素的可视化工具12。虚拟图像信息14提供卫星和/或航空影像作为投影图像22（本文中也称为地图投影或虚拟图像）。虚拟图像信息14还提供与投影图像22相关的地理信息24。地理信息24可包括例如与投影图像22相关的位置信息、投影图像内的位置名称、或其他特征信息、投影图像22内的对象的物理特征。地理信息24可包括任何可用在例如图形信息系统（GIS）中的信息。可视化工具12还配置为处理用户/设备事件109。用户/设备事件109包括随着设备101的位置变化而由设备101（参见图1B）观看/捕捉到的实时图像34。实时图像34也可称为设备101取景区内捕捉到的图像。用户/设备事件109还包括定义与在预定情况下观看或捕捉到的实时图像34相关的任何时间和空间信息的实时事件信息32。例如，实时事件信息32可提供关于设备101当前位置、朝向、与一个或多个预定实时对象之间距离、设备101当前取景区内外的地标、取景区内对象的物理特征（即尺寸）、取景区内对象之间距离、用户/设备当前位置与实时取景区内一个或多个对象之间距离的信息。

事件信息32还可包括关于实时图像上的缺乏对象的位置的信息（即确定无建筑、树木、人或其他对象的实时图像的上部）。缺乏对象的确定可用来定义一个位置（即实时图像的上部），在此位置上可叠加投影图像而不会阻挡任何对象。

关联16

虚拟图像信息14可与各关联16集合相结合以在可视界面（VI）202上生成交互式可视表示18，关联16通过工具12定义了投影图像22与实时图像34之间的关系。关联16的集合可由工具12的用户（即分析者）预先定义，以定义虚拟图像信息14与用户事件109提供的实时图像34之间的关系。或者，关联16的集合也可由工具12根据投影地理信息24（即虚拟对象的位置）和关于捕捉到的实时图像34的实时事件信息32（即实时对象的估计位置）来生成。关联16可由工具12产生来例如将设备101取景区内的一个或多个对象（实时图像34中捕捉到的对象）和投影图像22内的相应虚拟对象链接。关联16在可视表示18上显示为连接投影图像22中虚拟对象和实时图像34中相应实时对象的标记。如将说明的那样，标记可选地进行颜色编码或视觉强调以区别实时对象和虚拟对象之间的关联。如将说明的那样，关联16是通过使各实时对象的估计地理位置（由实时事件信息32提供）和各虚拟对象的地理位置（由投影地理信息24提供）相关而形成。关联16的定义可以是由用户确定、半自动型（即由工具12定义但可由设备101的用户更改）或全自动型（即完全由工具12定义）。

对虚拟图像信息14、工具12以及关联16的管理是由工具12的用户（未示出）的更新用户事件109驱动的。用户事件109包括随着设备101位置变化而捕捉和更新的实时图像34。用户事件109还包括定义位置的事件信息32和关于各实时图像34的其他GIS信息。或者，用户事件109可通过与可视表示18互动时用户（未示出）与用户界面108（参见图1B）之间的互动来进行更新。如将说明的那样，可视表示18示出了投影图像22与实时图像34之间的联系。

数据处理系统100

参考图1B，设备101的数据处理系统100包括与工具12互动的用户界面设备108，用户界面设备108通过总线106连接至内存102。设备101包括计算设备且可包括例如笔记本或桌面电脑、移动电话、个人数字助理（PDA）、虚拟现实眼镜、单片眼镜、平视显示系统、虚拟现实设备以及本领域的技术人员可设想到的其他类型计算设备。界面设备108通过总线106耦接至处理器104以便与用户事件109互动以通过操作系统110监控或指示工具12的操作。用户界面设备108可包括一个或多个用户输入设备比如但不限于QWERTY键盘、小键盘、滚轮、触针、鼠标、麦克风、数字指南针以及加速器。可视界面202被认为是用户输出设备，比如但不限于计算机屏幕显示、移动设备显示（比如手机屏幕）、具有屏幕显示的眼镜（比如虚拟现实眼镜）。若屏幕为触屏，那么此显示器也可用作由处理器104控制的用户输入设备。另外，应认识到数据处理系统100可包括耦接至处理器104的计算机可读存储媒体46以向处理器104和/或工具12提供指令。计算机可读媒体46可包括硬件和/或软件比如磁盘、磁带、光学可读媒体比如CD/DVD ROMS、以及内存卡，它们仅作为例子。在各情况下，计算机可读媒体46的形式可以是小磁盘、软盘、盒式磁带、硬盘驱动器、固态内存卡、或内存102提供的RAM。应指出的是以上罗列的实例计算机可读媒体46可单独使用或组合使用。系统100还包括符合系统100的网络界面47，与一个或多个例如LAN和/或因特网的公用或专用网络进行通信。

再参考图1B，工具12通过链接116与系统100的VI管理器112（也称为可视化呈现部）互动以便在可视界面202上显示可视表示18。工具12处理来自内存102中数据文件或表格122的虚拟图像信息14、关联16以及用户事件109。如上所述，关联16可以是由用户定义或由工具12提供（或它们的组合）。若工具12提供关联16，那么关联16则是根据分析实时对象的位置来确定的，实时对象的位置由事件信息32提供，例如，通过确定实时对象和设备101之间的距离以及通过了解设备101的当前位置来确定实时对象的位置。然后工具12将处理来自表122的信息以便随后在可视表示18上显示。应认识到虚拟图像信息14、关联16以及用户事件109可根据需要存储在相同或单独的表122中。由于用户事件109的驱动和/或工具12的独立操作，工具12可接受请求以从VI管理器112通过工具12和/或直接通过链接120来存储、检索、修改或创建虚拟图像信息14、关联16。相应地，工具12和管理器112关于显示在可视界面202中屏幕表示18的内容协调对数据对象14、关联集合16以及用户事件19的处理。

如本领域的技术人员将理解的那样，可视化工具12和可视界面202可存在于独立设备（未示出）中，使得在第一设备上创建地图投影而第二设备用于在显示器呈现地图投影和实时图像。

任务相关指令可包括代码和/或机器可读指令，用于例如响应命令或系统100的用户的输入，执行包括操作系统、工具12或其他信息处理系统的预定功能/操作。本文采用的处理器104（也称为用于工具12的特定部件的模块）是用于执行上述实例所描述的操作的被配置的设备和/或机器可读指令集合。

本文采用的处理器/模块一般可包括硬件、固件和/或软件中的任何一种或它们的组合。处理器/模块通过对由可执行程序或信息设备使用的信息进行操作、分析、修改、转换或传输、和/或将信息路由至输出设备，来对信息进行处理。处理器/模块可利用或包含比如控制器或微处理器的功能。相应地，附图的系统和过程提供的任何功能可实现为硬件、软件或两者的组合。相应地，作为设备和/或作为机器可读指令集合使用的处理器/模块在下文中为简便起见一般称为处理器/模块。

本领域的技术人员将理解本文中说明的内存102存储器就是以电磁或光学形式保持数据以便计算机处理器访问的地方。在一个实施方式中，存储器是指通过输入/输出操作连接至计算机的设备和数据，比如硬盘和磁带系统以及其他形式的存储器，不包括计算机内存和其他计算机内部存储器。在第二实施方式中，作为更为正规的使用，存储器被分为：（1）主存储器，将数据保存在内存（有时称为随机存取存储器或RAM）以及其他“内置”设备比如处理器的L1缓存中，以及（2）辅助存储器，将数据保存在硬盘、磁带以及其他需要输入/输出操作的设备中。由于主存储器临近处理器或由于存储设备的性质，主存储器的访问速度比辅助存储器快。另一方面，辅助存储器保存的数据却比主存储器多。除RAM外，主存储器包括只读存储器（ROM）以及L1和L2缓存存储器。除硬盘外，辅助存储器包括众多设备类型和技术，包括磁盘、Zip驱动器、独立磁盘冗余阵列（RAID）系统以及全息存储器。保持存储的设备被统称为存储媒体。

数据库是内存102的另一实施方式，就是组织了的信息集合以便轻松访问、管理和更新。在一种观点中，根据内容的类型可将数据库分为：目录、全文、数字和图像。计算中，有时根据组织方式来划分数据库。同样地，关系数据库是一种列表数据库，它可按多种不同方式重新组织和访问数据。分布式数据库是一种可在网络中的不同点分散或复制的数据库。面向对象编程数据库就是一种适合对象类型和子类定义的数据的数据库。

计算机数据库通常包含数据记录或文件的集合，比如交易、产品目录和库存以及客户概况。通常情况下，数据库管理器向用户提供控制读/写访问、规定报表生成以及分析使用情况的功能。数据库和数据库管理器在大型主机系统中比较流行，但也应用于较小的分布式工作站和中型系统中，比如AS/400以及个人电脑。SQL（结构化查询语言）就是来自数据库的交互式查询并更新此数据库的标准语言，比如IBM DB2、Microsoft Access，以及Oracle、Sybase和Computer Associates的数据库产品。

内存是内存102存储器的另一实施方式，是指令和数据的计算机微处理器能快速访问的电子保存位置。当计算机处于正常操作情况下，其内存通常包含操作系统的主要部分以及部分或全部正在使用的应用程序和相关数据。内存通常作为随机存取存储器或（RAM）的简写同义词。这种类型内存位于物理临近计算机微处理器的一个或多个微芯片上。

可视化工具12

参考图2至图15，示出了可视化工具12的一个实施方式。在本实施方式中，可视化工具12包括提取模块302、关联模块304以及引导模块（leader module）306。根据设备101的当前地理位置、朝向以及设备101的视角，可视化呈现部112显示实时图像34（步骤1502）。提取模块302配置为，根据用户/设备事件109以及设备101观看到的实时图像34来提取投影图像22（步骤1504）。如本文所述，投影图像22提供实时平面中观看到的对象（实时图像34）的反射图。投影图像22可以指提供实时平面中对象的反射图的卫星和/或航空影像和/或带注释的矢量图形。投影图像22提供的对象反射图是从设备101当前地理位置的抬高位置（elevatedposition，高位）并根据取景区的方向角（由事件信息32提供）拍摄。在一个实例中，反射图22是实时图像22中实时对象的镜像，展现取景区内观看到的对象的隐藏视图/角度。

因此，用户/设备事件109提供事件信息32，事件信息32定义设备101的地理坐标以及关于设备101取景区的其他GIS信息。当在取景区内捕捉实时图像34时，事件信息32可提供定义设备101当前位置和朝向的信息。因此，事件信息32可提供例如，设备101的当前位置、设备101的朝向、设备101相对于周围地面的估计高度、设备101与关于实时图像34的周围对象和/或预定地标之间的估计距离。相应地，根据事件信息32提供的设备101当前地理位置和取景区（即设备101的朝向），提取模块302从数据存储122中检索相应投影图像22（也称为地图投影）。投影图像22描绘关于设备101当前地理位置并根据设备101取景区（即设备101的朝向）的地面抬高视图。这样，投影图像22可包括航空和/或卫星影像和/或带注释的矢量图形，提供根据设备当前地理坐标的设备101取景区的反射顶视图。如将说明的那样，在一个实施方式中，投影图像22允许设备101的用户了解实时对象从设备101的取景区隐藏的部分（即用户无法看到的实时对象的顶面）。可视化呈现部112配置为在显示器（display）18上显示投影图像22，并叠加在实时图形34的上部（步骤1506）。

一旦提取了投影图像22，关联模块304配置为将实时图像34提供的实时对象与投影图像22内的虚拟对象（也称为反射对象）关联起来（步骤1508）。事件信息32提供实时图像34内一个或多个预定实时对象的估计坐标。例如可利用设备101的当前位置和距各实时对象的估计距离（由事件信息32提供）来计算各实时图像的估计坐标。投影地理信息24包括投影图像22提供的一个或多个虚拟对象的地理坐标。相应地，引导模块306配置为与可视化呈现部112通信来显示并叠加显示投影图像22内虚拟对象与实时图像34内实时对象之间关系的一个或多个标记。各标记叠加在显示器上并配置为连接投影图像22内的虚拟对象和实时图像34内的相应实时对象（步骤1508）。对象之间的关系由关联模块304定义。引导模块306还可配置为提供描述投影图像22和实时图像34之间关系特征的文本信息。文本信息可包括例如标识符，显示当前/目的地位置、建筑物名称、取景区内地标名称、方向信息等。文本信息的实例在图4中示出，其中，标识符“我的位置”叠加在投影图像22上（如步骤1510所示）。

引导模块306因此配置为与可视化呈现部112通信而将标记呈现在场景中（即可视表示18），连接物理对象（即实时图像34中的对象）与虚拟表示（即投影图像22内的虚拟对象）。叠加标记使它们位于实时图像34和投影图像22之上并在两者之间延伸。在一个实施方式中，引导模块306被提供关于实时图像34内一个或多个对象的尺寸和物理特征的信息。相应地，在本实施方式中，引导模块306利用尺寸信息来确定标记的放置位置。例如，标记可被描绘成从虚拟对象延伸至相应实时对象的顶面（即标记被描绘至实时图像34的某个预定高度）。

可视化呈现部112还配置为在显示器18上可视化并显示实时图像34、投影图像22以及一个或多个标记。根据一个实施方式，可视化呈现部112配置为在显示器18上显示实时图像34。可视化呈现部112还配置为将投影图像22重叠（superimpose）在实时图像34的上部。可视化呈现部112还配置为在实时图像34上确定填充或聚集实时对象较少的区域以便叠加（overlay）投影图像22。

例如，参考图4，投影图像22叠加在实时图像34的只有较少实时对象的上部（即在显示器18上，投影图像22显示在实时图像34的天空部分之上）。

可视化呈现部112还配置为与引导模块306通信并叠加标记，所述标记连接在实时图像34内显示的实时对象与在投影图像22内显示的虚拟对象。

再次参考图4，图4示出了可视表示18的屏幕截图（screen shot）的实例。如图4所示，实时图像34描绘从特定地理位置摄取的设备101的取景区，并显示在可视表示18上。地图投影22根据设备101取景区（即设备面向的方向和角度）描绘了关于设备101当前地理位置的地面的抬高视图。地图投影22叠加在实时图像34的上部410。可以看到，地图投影以使对下部414中的对象（即412）的遮挡最小化的方式叠加。从图4中可以看到，一个或多个标记404将虚拟对象（即406）与实时对象（即408）连接起来。还有文本标记402显示了用户的当前位置。在一个实施方式中，可通过将投影图像22内的虚拟对象颜色编码成图像34内的实时对象来显示一个或多个标记。例如，特定建筑或地标在投影图像22和实时图像34中可具有相同的颜色以显示它们之间的关系。

投影图像22

应指出的是本文涉及的投影图像22可包括航空图像和/或卫星影像和/或带注释的矢量图形，其描绘关于设备101地理位置的地面的顶视图。投影图像22也可包括其他地图投影符号表示，比如矢量、对象、用户定义的/预定义的/工具12生成的注释、位置具体注释以及本领域的技术人员可以理解的图像。投影图像22也可为透明、半透明或不透明并可由可视化工具12的用户预先定义。图10示出了可视表示18的屏幕截图实例，其中，投影图像22利用地图符号、矢量和注释来表示实时图像34内的地形、对象、不同高度以及表面。在图10中，引导模块306提供的一个或多个标记1000用于将实时图像34内的对象与投影或虚拟图像22联系或关联起来。参考图10，实时图像34显示在投影图像22之下。另外，投影图像22显示在可视表示18的上部1004中（叠加在实时图像34的上部）。在本实例中，投影图像22为半透明，这样还可看见实时图像34。

根据本实施方式，由于设备101的用户移动设备101（即显示屏）的位置或方位，可视化工具12将确定设备101的位置或视角已改变（即通过实时事件信息32）。因此，可视化工具12便根据更新的设备101的坐标来提取更新的投影图像22并确定更新的关联16。可视化工具12还可与可视化呈现部112通信，在显示器18上显示更新的实时图像34、更新的投影图像22以及表示两者关系的一个或多个标记。因此，显示器18实时更新以为设备101的用户提供实时地图。

根据一个实施方式，可视界面202允许用户提供外部数据源（通过用户界面108）以在显示器18上涵盖非地理特征比如同事、敌方、事件或其他物理实体。在一个实施方式中，用户界面108配置为允许用户与工具12通信以添加对象并控制虚拟投影图像22。在另一实施方式中，用户界面108还配置为与用户互动以允许放置和修改一个或多个标记、注释、矢量和符号中的至少一种。如本文说明的那样，一个或多个标记、注释、矢量和符号各自可配置来定义地图投影和实时图像之间的关系，使得仍可观看到实时图像和地图投影。

变换模块308

参考图3，图3示出了可视化工具12的实施方式的框图。在本实施方式中，可视化工具12还包括变换模块308。变换模块308配置来接收一个或多个投影图像22并进行变换以获得变换地图投影图像30。变换模块308配置为变换投影图像22使得对于用户投影图像22有更清楚的可见性和可用性。可根据图像22的使用情况来进行变换。例如，在一些情况下，需要用户能更好地看见较近的对象，而在另一些情况下，强调离用户较远的对象更为重要。

一旦对投影图像22进行变换以获得变换图像，通过对对象的物理位置（事件信息32提供的设备101的地理位置）的地理坐标进行表面变形变换来计算标记（即404）的起点（origin）。一方面，变换点与矢量注释一起向下伸出（即如图4所示），看起来像是停止在物理表面的平面上（即从投影图像22延伸至实时图像34）。物理表面上的停止点是设备101与实时对象的物理位置之间的距离的透视函数。如果知道物理实时对象的3D几何，这可将标记线从天空延伸至对象的顶部，而不是一直向下延伸到实时图像34的表平面上。

具有平面的反射地图投影

参考图5A至5B示出的是未进行变换的投影图像22的实例。根据本实施方式，投影图像22的表面（图中也称为反射地图表面）为平坦平面，使得实时对象502与位于实时对象之上的虚拟对象504之间的角度为90度。应指出的是本领域的技术人员将理解术语平面的也用来描述平坦表面。在这种情况下，虚拟对象504直接位于实时对象502之上（即一对一垂直匹配）。本实施方式用于观看靠近观察者（即设备101的用户）的对象的反射（即虚拟对象）。相应地，在这种情况下，很难看到离设备101所在位置远的投影图像22中的虚拟对象。

还应指出的是投影图像22的平坦表面是指投影图像沿此其反射的表面或投影图像22所在的平面。

具有平坦按比例调整、倾斜和偏移的表面

如图6A和6B所示，在另一实施方式中，变换模块308将投影图像22的平面倾斜以提供所需视角。这样，站在预定位置602的设备101的用户可以预定角度（即小于90度的视角）观看到虚拟对象604，这样有助于观看到位于设备101用户所站立地面的正上方的虚拟对象。在这种情况下，地图投影22的表面的角度使得更易于读取虚拟平面中的远距离对象（即作为投影图像22中的虚拟对象被看到）。如图6B所示，投影图像22也可相对于在地表606上的设备101当前位置偏移预定距离608。另外，投影图像22中显示的虚拟对象可相对于实时图像34内的实时对象进行放大。

具有曲面的反射地图投影700

参考图7A和7B，在一个实施方式中，变换模块308将投影图像22进行曲线或抛物线变换，使得投影图像22的平面或底部（base）至少有一部分弯曲。此曲线变换允许工具12的用户更清晰地观看到靠近设备101的位置，就像是将靠近设备101（即被显示为706的设备101在地面的位置）的投影图像22的至少第一部分702伸长。在本实施方式中，投影图像22的第二部分706保持为平坦。第二部分706位于距离设备706的地理位置最远的地方。投影面的高度作为离观察者的距离的函数变化。

具有球面的反射地图投影800

参考图8，在一个实施方式中，变换模块308将投影图像22进行球变换。在本实施方式中，靠近设备101位置（即806）的投影图像802的第一部分被伸长并放大，而远离设备101的投影图像804的第二部分则被压缩。这样，靠近设备101用户的虚拟对象被放大以便强调和使其清晰，而远离此用户的虚拟对象则被压缩。另外，对靠近观察者的对象的反射以一个角度位于地图投影22平面中。

沿多轴曲线投影的反射地图投影900

参考图9A-9C，根据一个实施方式，变换模块308将投影图像22进行多轴曲线或表面的旋转变换。在本实施方式中，更加强调靠近设备当前位置的虚拟对象。也就是，如图9B所示，最靠近设备101的地理位置902的虚拟对象904在可视表示18中被放大了以便更好地观看。

如图9A所示，实时图像34上的观察者（设备101的用户）的位置显示在元件（element）901。可以看到投影图像22中观察者的相应反射图像在观察者之上并为沿旋转曲线表面的轴的元件903。

图9C提供了定义旋转曲线表面的例示性函数。可以看到旋转曲线表面是在X、Y和Z轴操作（manipulate）的多轴曲线。图9C中的等式定义了投影图像22的表面是如何变形的。例如，设想此表面为网格，网格上的各点（即在投影图像22中具有坐标的各虚拟对象）从初始位置（X，Y，Z）转化或变换到新位置（X'，Y，Z）。变换前的原始点显示为“OP”，而变换点则显示为“DP”。相对于设备101的用户的视角而言，表面像是在（X，Z）平面上向上弯曲，而且在（X，Y）平面上向外弯曲像波纹效果（ripple effect）。

具有平坦、按比例调整、偏移的表面的反射地图投影1100

参考图11，根据一个实施方式，变换模块308将投影图像22的平坦表面进行按比例调整（scaling）和偏移（shifting），以获得相对于原始投影图像22被偏移和按比例调整的变换图像。在这种情况下，变换图像放大了用户取景区的特定部分（即变换图像是实时图像特定部分的反射，这样相对于相应实时对象而言，虚拟对象呈现为被放大）。另外，偏移允许用户在更为理想的角度观看投影图像22。在这种情况下，设备1102的用户和变换投影图像1100中用户位置反射之间的角度便减小到小于45度。根据本实施方式，地图投影图像22的方向和位置便与用户的方向相关联，从而当用户改变方向，则投影图像22也随之更新。

可变宽度按比例调整变换的反射地图投影1200

参考图12，根据一个实施方式中，变换模块308将投影图像22进行可变宽度按比例调整。在这种情况下，根据离用户/设备101位置1202的距离，投影图像22沿x和y轴按比例调整。即靠近设备101的对象（即显示为区域1204）被放大，而远离设备101的对象（即显示为区域1206）被压缩。这种变换强调靠近设备101的用户的局部地区，并将投影图像22中观察者位置1208保持在用户位置的前面，从而允许设备的用户更好地读取投影图像22。

强调可变距离的反射地图投影1300

参考图13，根据一个实施方式中，变换模块308将投影图像22进行可变距离强调。即放大预定距离和区域以便更好读取在地平线之后的地理环境。即通过放大预定距离上的虚拟对象（即放大投影图像22中的虚拟对象），在地平线之后的实时对象便可在投影图像22看到。

着重于实时图像的预定区域的反射地图投影1400

参考图14，根据一个实施方式中，变换模块308提供根据部分实时图像34反射的反射地图。即投影图像22提供实时图像34的特定预定区域的反射。这样，投影图像22部分覆盖实时图像34，从而减少地图投影图像22中的混乱并减少设备101的CPU的负担。

作为自适应函数的反射地图投影1600

参考图16，根据一个实施方式，变换模块308将投影图像22进行二次函数变换。二次函数产生具有一个或多个曲线部分（比如抛物线）的变换的投影图像22。图16中的二次函数变换可以是根据观察者（即设备101的用户）视角的自适应的。即随着设备的设备101取景区（即根据视角和朝向）改变，二次函数以及由此的抛物线形状也随之更新以允许投影图像22有更清晰的可见性和可用性。

尽管本文说明了本发明的优选实施方式，但本领域的技术人员将理解在不背离本发明精神或所附权利要求书的范围的前提下，可对本发明进行各种变更。

Claims (21)

1.一种创建和显示设备的实时取景区的地图投影以描绘虚拟对象的方法，所述虚拟对象提供在设备取景区内显示的实时对象的反射图，所述方法包括：

在显示器显示从一个地理位置拍摄的所述设备取景区的实时图像；

检索所述地图投影，所述地图投影用于将所述反射图展现为关于所述设备的当前地理位置并根据所述设备取景区的地面的抬高视图；

将所述地图投影重叠在所述显示器上并叠加在所述实时图像的上部；以及

定义被配置为示出所述地图投影和所述实时图像之间的关系的一个或多个标记，各个标记叠加在所述显示器上并被配置为连接所述地图投影中的所述虚拟对象和所述实时图像上的相应实时对象。

2.根据权利要求1所述的方法，还包括：

提供用户界面，被配置为与所述设备的用户互动，以允许选择虚拟对象、缩放、摇摄、向下深入所述地图投影、改变地图投影表面的形状、调整所述地图投影的透明度以及调整所述地图投影表面的高度中的一种或多种功能。

3.根据权利要求1所述的方法，还包括：

将所述地图投影进行变换以获得具有曲面的变换地图投影，所述曲面至少有一部分为凸起形状以放大所述地图投影内的靠近所述设备的虚拟对象并压缩远离所述设备的虚拟对象。

4.根据权利要求1所述的方法，其中，所述地图投影是直接位于所述实时图像上方的平坦图像，以使各虚拟对象和相应实时对象之间垂直对应。

5.根据权利要求4所述的方法，还包括变换所述图像投影的步骤，通过偏移所述地图投影并相对于所述实时图像按比例调整所述地图投影以提供变换图像，所述变换图像被配置为放大所述实时图像的至少一部分。

6.根据权利要求5所述的方法，还包括倾斜所述变换图像以获得倾斜变换图像的步骤，所述倾斜变换图像被配置为以一个相对于所述相应实时对象的角度描绘所述虚拟对象。

7.根据权利要求1所述的方法，其中，通过对所述地图投影应用多轴曲线来变换所述地图投影，变换图像被配置为放大所述实时图像的至少最靠近所述设备的当前地理位置的部分。

8.根据权利要求1所述的方法，其中，通过对所述地图投影应用曲面变换来变换所述地图投影，曲面的曲率响应于设备视角的变化而自适应。

9.根据权利要求1所述的方法，其中，通过根据所述地图投影中所述虚拟对象与所述设备的地理位置之间的距离沿两个独立轴按比例调整所述地图投影来变换所述地图投影。

10.根据权利要求1所述的方法，其中，通过放大与距所述设备的地理位置预定距离上的实时对象对应的虚拟对象来变换所述地图投影。

11.根据权利要求1所述的方法，其中，所述地图投影显示与所述设备取景区内实时对象的子集对应的虚拟对象，以提供所述实时图像的部分反射。

12.根据权利要求1所述的方法，其中，通过颜色编码选定的一个虚拟对象以对应于相应的一个实时对象的颜色来定义所述一个或多个标记。

13.根据权利要求1所述的方法，其中，所述地图投影是矢量图像，该矢量图像提供实时对象的符号反射作为相应虚拟对象。

14.根据权利要求2所述的方法，其中，所述用户界面还被配置为与用户互动以允许放置和修改所述一个或多个标记、注释、矢量和符号中的至少一种，所述一个或多个标记、注释、矢量和符号各自被配置为定义所述地图投影和所述实时图像之间的关系。

15.根据权利要求1所述的方法，其中，所述地图投影为半透明或透明图像中一种以使所述实时图像的所述上部可见。

16.根据权利要求1所述的方法，还包括确定用于在其上叠加所述地图投影的所述实时图像的上部的步骤，其中，确定所述上部包括确定所述实时图像的具有最少数量的实时对象的部分。

17.根据权利要求1所述的方法，还包括接收至少一个实时对象的物理特征信息的步骤，其中，各个标记根据所述相应实时对象的物理特征信息在所述虚拟对象和所述相应实时对象的顶面之间延伸。

18.一种创建和显示设备实时取景区的地图投影以描绘虚拟对象的系统，所述虚拟对象提供在设备取景区内显示的实时对象的反射图，所述系统包括：

可视化呈现部，用于在显示器显示从一个地理位置拍摄的所述设备取景区的实时图像；

提取模块，用于检索所述地图投影以将反射图展现为关于所述设备的当前地理位置并根据所述设备取景区的地面的抬高视图，所述提取模块耦接至所述可视化呈现部以将所述地图投影重叠在所述显示器并叠加在所述实时图像的上部；

关联模块，耦接至所述提取模块以定义被配置为示出所述地图投影和所述实时图像之间的关系的一个或多个标记；以及

引导模块，耦接至所述关联模块以在所述地图投影中的所述虚拟对象和所述实时图像上的相应实时对象之间连接各个标记，所述引导模块与所述可视化呈现部通信以在所述实时图像和所述地图投影之上的所述显示器叠加各个标记。

19.根据权利要求18所述的系统，还包括耦接至所述关联模块的变换模块，所述变换模块被配置为对所述地图投影进行变换以获得具有曲面的变换地图投影，所述曲面至少有一部分为凸起形状以放大所述地图投影内的靠近所述设备的虚拟对象并压缩远离所述设备的虚拟对象。

20.根据权利要求18所述的系统，还包括耦接至所述关联模块的变换模块，所述变换模块被配置为倾斜所述投影地图以获得倾斜变换图像，所述倾斜变换图像被配置为以一个相对于所述相应实时对象的角度描绘所述虚拟对象。

21.根据权利要求18所述的方法，还包括耦接至所述关联模块的变换模块，所述变换模块被配置为对所述地图投影应用多轴曲线，所述变换图像被配置为放大所述实时图像的至少最靠近所述设备的当前地理位置的部分。

Images