CN103988220B - 存储内容和ar通信的本地传感器加强 - Google Patents

Abstract

描述了采用本地传感器和AR通信的存储内容的加强。在一个实施例中，方法包括从本地装置的本地传感器收集关于位置的数据，在本地装置从远程图像存储接收归档图像，使用收集的数据加强归档图像，并且在本地装置上显示加强的归档图像。

Description

存储内容和AR通信的本地传感器加强

技术领域

本公开的实施例涉及存储内容和AR通信的本地传感器加强。

背景技术

移动加强现实（MAR）是能够被用来将游戏应用到现有地图的技术。在MAR中，地图或者卫星图像能够被用作游戏场，并且其它玩家、障碍物、目标和对手被添加到地图。导航装置和应用还使用符号或图标在地图上示出用户的位置。还开发了地图寻宝和宝藏搜索游戏，它们在地图上在特定位置示出了贮藏处或者线索。

这些技术都使用从远程映射、定位或者成像服务取回的地图。在一些情形中，地图示出已被拍摄或者绘制的实际地点，而在另一些情形中，地图可以是虚构地点的地图。存储的地图可以不是当前的，并且可以不反映当前状况。这可以使加强的现实表示好像不是现实的，尤其是对于处于地图上所示位置的用户。

发明内容

按照本公开的一个方面，提供一种方法，包括：通过捕获在位置出现的真实对象的图像，从本地装置的本地传感器收集关于所述位置的数据；使用所述本地传感器来确定所述本地装置的位置和方位，并且基于所述本地装置的所确定的位置和方位来选择归档图像；在所述本地装置从远程图像存储接收所述归档图像；通过在对应于所述位置的所述归档图像中各位置添加所述真实对象的图像，使用收集的数据加强所述归档图像；以及在所述本地装置上显示加强的归档图像。

按照本公开的另一方面，提供一种设备，包括：本地传感器，用于通过捕获在本地装置的位置出现的真实对象的图像，收集关于所述位置的数据；位置和方位模块，用于使用所述本地传感器来确定所述本地装置的位置和方位，并且基于所述本地装置的所确定的位置和方位来选择归档图像；通信接口，用于在所述本地装置从远程图像传感器接收所述归档图像；组合模块，用于通过在对应于所述位置的所述归档图像中各位置添加所述真实对象的图像，使用收集的数据加强所述归档图像；以及屏幕再现模块，用于在所述本地装置的显示器上显示加强的归档图像。

按照本公开的又一方面，提供一种设备，包括：照相机，用于通过捕获在本地装置的位置出现的真实对象的图像，收集关于所述位置的数据；网络无线电装置，用于在所述本地装置从远程图像传感器接收归档图像，其中，所述归档图像是基于所述照相机所确定的所述本地装置的位置和方位来选择的；处理器，具有通过在对应于所述位置的所述归档图像中各位置添加所述真实对象的图像，使用收集的数据加强所述归档图像的组合模块，和在所述本地装置上生成加强的归档图像的显示的屏幕再现模块；以及显示器，用于向用户显示所述加强的归档图像。

按照本公开的又一方面，提供一种机器可读介质，其上面存储指令，所述指令在被执行时导致所述机器执行如上所述的方法。

按照本公开的再一方面，提供一种装置，包括：用于通过捕获在位置出现的真实对象的图像，从本地装置的本地传感器收集关于所述位置的数据的部件；用于使用所述本地传感器来确定所述本地装置的位置和方位，并且基于所述本地装置的所确定的位置和方位来选择归档图像的部件；用于在所述本地装置从远程图像存储接收所述归档图像的部件；用于通过在对应于所述位置的所述归档图像中各位置添加所述真实对象的图像，使用收集的数据加强所述归档图像的部件；以及用于在所述本地装置上显示加强的归档图像的部件。

附图说明

本发明的实施例通过示例方式而不是通过限制方式在附图中进行说明，在附图中相似参考标号指类似要素。

图1是根据本发明一个实施例的适合AR表示的来自远程图像存储（store）的实际场景的示图。

图2是图1的实际场景的示图，其根据本发明一个实施例示出加强接收图像的实际对象。

图3是图1的实际场景的示图，其根据本发明一个实施例示出通过AR技术增强的实际对象。

图4是图1的实际场景的示图，其根据本发明一个实施例示出受用户控制的虚拟对象。

图5是图4的实际场景的示图，其根据本发明一个实施例示出受用户控制的虚拟对象和用户的视野。

图6是根据本发明一个实施例的采用虚拟对象加强归档图像的过程流程图。

图7A是根据本发明另一个实施例的采用虚拟对象加强的来自远程图像存储的实际场景的示图。

图7B是根据本发明另一个实施例的采用虚拟对象和另一用户的化身加强的来自远程图像存储的实际场景的示图。

图8是根据本发明一个实施例的适合于实施本公开的过程的计算机系统的框图。

图9是根据本发明一个实施例的适合于实施本公开的过程的图8的计算机系统的备选视图的框图。

具体实施方式

便携式装置，例如蜂窝电话和便携式媒体播放器，提供很多不同类型的传感器，它们能够被用来收集与周围环境有关的信息。目前，这些传感器包括定位系统卫星接收机、照相机、时钟和罗盘，额外的传感器可以被实时地添加。这些传感器允许装置具有关于环境的形势感知。装置可以还能够访问其它本地信息，包括天气状况、运输调度和与用户通信的其它用户的存在。

来自本地装置的这个数据可以被用来在在更早时间创建的地图或者卫星图像上进行更新的表示。真实的地图本身可以被改变以反映当前状况。

在一个示例中，通过允许用户看见以与他们在玩游戏时出现相同的方式在卫星图像上表示的他们自己和他们的本地环境，使具有卫星图像的MAR游戏更身临其境。具有不同于卫星图像的存储图像的其它游戏可以也变得更身临其境。

存储图像或者归档图像或者从另一位置提取的其它存储图像，例如卫星图像，可以采用本地传感器数据来加强以创建看起来是当前的图像的新版本。存在可以被使用的各种加强。例如，实际在那个位置的人或者移动的交通工具可以被示出。这些人和物的视图可以根据传感器版本进行修改以从不同视角，归档图像的视角示出它们。

在一个示例中，来自例如Google Earth ^TM的卫星图像可以基于用户的GPS（全球定位系统）位置来下载。下载的图像可以然后采用利用用户的智能手机收集的传感器数据进行转换。卫星图像和本地传感器数据可以被集合在一起以创建游戏内现实或者类型化的场景，其被显示在用户的手机上。手机的照相机能够获得其它人、他们的衣服的颜色、照明、云和附近的交通工具。结果，在游戏内，用户能够实际上从卫星缩小，并且看到他自己或者她自己或者正在分享其本地数据的朋友的表示。

图1是从外部源下载的卫星图像的示例的示图。Google公司提供此类图像，与很多其它因特网源一样。图像可以在其被需要时取回，或者提前取回，并且然后从本地存储装置读出。对于游戏，游戏供应商可以提供图像或者提供到可以最适用于游戏的图像的备选源的链接或连接。这个图像示出英格兰伦敦中心附近的Westminster 桥路12和其与Westminster Abbey附近的Victoria堤岸14的十字路口。泰晤士河16的水位于桥下方，Millennium桥墩18在桥的一侧并且议会大厦20在桥的另一侧。这个图像将示出拍摄该卫星图像时的状况，其在明朗的白天并且可以是在最近五年或者大概甚至十年内的任何季节的任一天。

图2是具有一些增强的与图1中所示相同的卫星图像的示图。首先，泰晤士河的水已采用波纹来加强以示出天气是有风天。可以存在难以在示图中示出的其它环境增强（比如光线或者黑暗）以示出时刻和沿桥塔和其它建筑、树木和甚至人的阴影，从而指示太阳的位置。季节可以通过树木的绿色或者落叶颜色或者裸露来指示。雪或者雨可以在地上或者在空中示出，尽管雪在伦敦的这个特定示例中不常见。

在图2中，示图已经采用旅游巴士24来加强。这些巴士可以被用户的智能手机或者其它装置的照相机捕捉，并且然后在实际场景中被再现为实际对象。它们可以已被照相机捕捉，并且然后采用例如颜色、标记等的额外特征来加强作为加强的现实对象。备选地，巴士可以已被本地装置为了节目或者显示的某个目的而生成。在一个简化示例中，旅游巴士可以在显示器上生成以示出巴士可能采取的路线。这能够帮助用户决定是否购买巴士旅游。另外，巴士被示出具有明亮的头灯束以指示外面是夜晚或者正变黑。轮船22也被添加到示图。轮船对于游戏比赛可以是有用的，以便提供观光或其它信息或者用于任何其它目的。

巴士、轮船和水可以还伴随有通过本地装置的扬声器播放的声音效果。声音可以从装置上的存储器获得，或者通过远程服务器接收。声音效果可以包括水波、巴士和轮船引擎、轮胎和喇叭以及甚至环境声音，比如旗帜摇摆、人移动或者讲话的普遍声音等。

图3是示出其它加强的相同卫星地图的示图。相同场景在没有图2的加强的情况下示出以便将图简化，但是本文所述的所有加强可以被组合。图像示出地图上一些对象的标记。这些标记包括如Westminster 桥路的路上的标记34、Millennium桥墩上的标记32和Victoria堤岸和议会大厦上的标记33。这些标记可以是归档图像的一部分，或者可以被本地装置添加。

另外，人36已被添加到图像。这些人可以被本地装置或者被游戏软件生成。另外，人可以被装置上的照相机观察到，并且然后图像、化身或者其它表示可以被生成以加强归档图像。额外的三个人在图中被标记为Joe 38、Bob 39和Sam 40。这些人可以用与其他人相同的方式来生成。他们可以被本地装置上的照相机观察到，添加到场景作为图像、化身或者作为另一类型的表示，并且然后被标记。本地装置可以使用面部识别、用户输入或者用某个其它方式来识别他们。

作为备选，这些标识的人可以从他们自己的智能手机发送指示他们身份的消息。这可能然后被链接到所观察的人。其它用户可以还发送位置信息，使得本地装置在标识的位置将他们添加到归档图像。另外，其它用户可以发送本地装置能够用于再现并标记标识的人38、39、40的化身、表情、表情图标、消息或者任何其它信息。在本地照相机看见这些人时或者在发送位置被标识时，系统可以然后在图像上在适当位置添加再现（rendering）。额外的实际或者观察的人、对象和事物可以也被添加。例如，加强的现实角色可以也被添加到图像，例如游戏对手、资源或者目标。

图4示出采用虚拟游戏角色42加强的图1的相同归档图像的示图。在图4的示图中，加强的现实虚拟对象被生成并应用到归档图像。对象从在图像左侧的控制面板选择。用户从不同的可能角色44、46选择，在这个情形中选择带伞的参与者，并且然后在比如巴士24、轮船22或者各个建筑物的各个对象上丢下他们。本地装置可以通过示出其轨迹、在不同对象上着陆时的动作以及其它效果来加强虚拟对象42。轨迹能够受真实天气状况或者受装置生成的虚拟状况影响。本地装置可以还采用与落下、着陆和在着陆后四处移动相关联的声音效果来加强虚拟对象。

图5示出了在基于图4示图的示图中游戏比赛的额外要素。在这个视图中，用户将场景上在空中的他的手50看作游戏比赛要素。在这个游戏中，用户将对象丢下到下面的桥上。用户可以实际上在桥上，因此用户的手机上的照相机已检测到巴士。在又一个变化中，用户能够进一步缩小并看见他自己和他周围的人的表示。

图6是根据一个示例的如上所述加强归档地图的过程流程图。在61，本地传感器数据被客户端装置收集。这个数据可以包括位置信息、关于用户的数据、关于其它附近用户的数据、关于环境状况的数据以及关于周围建筑、对象和人的数据。它可以还包括罗盘方位、姿势和本地装置上的传感器可以能够采集的其它数据。

在62，图像存储被访问以获得归档图像。在一个示例中，本地装置使用GPS或者本地Wi-Fi接入点确定它的位置，并且然后取回对应于那个位置的图像。在另一个示例中，本地装置在其位置观察到地标并且获得适当图像。在图1的示例中，Westminster桥和议会大厦是两个不同建筑。本地装置或者远程服务器可以接收这些建筑之一或二者的图像，标识它们并且然后为那个位置返回适当的归档图像。用户可以还输入位置信息或者纠正位置信息以取回图像。

在63，获得的图像使用来自本地装置上传感器的数据来加强。如上所述，加强可以包括对时间、日期、季节、天气状况和观察点的修改。图像可以还通过添加由本地装置观察的实际的人和对象以及由装置生成或者从另一用户或软件源发送给装置的虚拟的人和对象来加强。图像可以还采用声音来加强。额外的AR技术可以被用来提供关于图像或者本地装置照相机视图的标记和元数据。

在64，加强的归档图像被显示在本地装置上，并且声音在扬声器上播放。加强的图像可以还被发送给其它用户的装置以供显示，使得那些用户能够也观看该图像。这能够为各种类型的游戏比赛，包括地图寻宝和宝藏搜索类型的游戏，提供有趣的附加。在65，用户与加强的图像交互以引起额外的改变。这个交互的一些示例在图4和5中示出，但是宽泛范围的其它交互也是可能的。

图7A示出了由本地装置加强的归档图像的另一示例。在这个示例中，消息72从Bob发送给Jenna。Bob已经发送他的位置的指示给Jenna，并且这个位置已被用来取回包括Bob的位置的市区的归档图像。Bob的位置由气球71指示。气球可以由本地装置或者由图像源提供。与在图1中一样，图像是具有街道和叠加的其它信息的卫星图像。Bob的位置的表示可以作为Bob的图片、化身、箭头符号或者用任何其它方式被再现。位置表示的真实位置可以改变，如果Bob发送他已移动的信息的话，或者如果本地装置照相机观察到Bob的位置在移动的话。

除了归档图像和Bob的表示以外，本地装置还已添加示出为纸飞机的虚拟对象72，但是它可以替代地用很多其它方式来表示。这个示例中的虚拟对象表示消息，但是它可以替代地表示很多其它对象。对于游戏比赛，作为示例，对象可以是信息、额外的军需品、侦察探测器、武器或者助手。虚拟对象被示出在加强的图像上从Jenna行进到Bob。作为飞机，它在卫星图像上飞行。如果消息被指示为人或者地面交通工具，则它可以被表示为沿图像的街道行进。图像的视图可以在虚拟对象行进时被拍全景、缩放或者旋转以示出它的进展。图像可以还采用纸飞机或者其它对象在其行进时的声音效果来加强。

在图7B中，图像在消息靠近它的目标时已被缩放。在这个情形中，Bob使用化身73来表示，并且被示出为准备好捕捉消息72。捕捉飞机和Bob进行口头响应的声音效果可以被播放以指示Bob已经接收该消息。与前面一样，Bob能够用各种不同现实的或者想象的方式中的任意方式来表示。归档图像可以在卫星地图中或者与在这个示例中一样在与Bob的位置相符的有铺筑面的公园地区的照片中被缩放。照片可以来自于不同的源，例如描述公园的网站。图像可以还来自于Bob自己的智能手机或者类似装置。Bob可以拍摄一些他的位置的照片，并且发送那些给Jenna。Jenna的装置可以然后显示由Bob和消息加强的那些。图像可以采用虚拟和实际的其它角色或者对象来进一步增强。

如上所述，本发明的实施例提供，采用由对于用户是本地的装置获得的几乎实时数据来加强卫星图像或者任何其它存储图像集合。这个加强能够包括任意数量的由图标或者化身或者更多现实的表示来表示的实际或虚拟对象。

在用户的装置上的本地传感器被用来采用任意数量的额外细节来更新卫星图像。这些能够包括树木和灌木的颜色和大小以及例如小汽车、巴士和大厦等的其它周围对象的存在和位置。能够显示决定参加分享信息的其他人的身份，以及GPS位置、用户持有的装置的倾斜和任意其它因素。

附近的人能够被表示为被本地装置检测到，并且然后被用来加强图像。另外，对于所示的简化表示，人的表示能够通过示出高度、大小和着装、姿势和面部表情以及其它特性而增强。这能够来自于装置的照相机或者其它传感器，并且能够与那些人自己提供的信息组合。在两端的用户可以在采用接近实时的表情和姿势的表示来示出的化身上表示。

归档图像可以是如图所示的卫星地图和本地照片，以及地图和图像数据的其它存储。作为示例，可以替代或者与卫星地图一起使用大厦内部的图像或者内部地图。这些可以来自于公共源或者专用源，这取决于大厦和图像的性质。图像可以还被加强以使用拍全景、缩放和平铺显示效果并且通过移动正在加强图像的虚拟和实际对象来模拟位置的视频。

图8是支持上文论述的操作的计算环境的框图。模块和系统能够在各种不同硬件架构中实施，并且形成包括图9中所示的那个的因素。

命令执行模块801包括中央处理单元以缓存和执行命令，并且在所示的其它模块和系统间分布任务。它可以包括指令栈、存储中间结果和最终结果的高速缓存存储器以及存储应用和操作系统的大容量存储器。命令执行模块可以还充当系统的中央协调和任务分配单元。

屏幕再现模块821在本地装置的一个或多个屏幕上绘制对象以供用户观看。它能够被适配以接收来自下文描述的虚拟对象行为模块804的数据，并且在适当的屏幕或者多个屏幕上再现虚拟对象和任何其它对象。因此，来自虚拟对象行为模块的数据例如将确定虚拟对象以及关联的姿势和对象的位置和动力学，并且因此屏幕再现模块将在屏幕上描绘虚拟对象和关联对象和环境。

用户输入和姿势识别系统822可以被适配以识别用户输入和命令，包括用户的手部和有害姿势。此类模块可以被用来识别手部、手指、手指姿势、手部运动和手部相对于显示器的位置。例如，对象和姿势识别模块能够例如确定，用户进行姿势以在各个位置将虚拟对象丢下或者扔到加强的图像。用户输入和姿势识别系统可以耦合到照相机或者照相机阵列、麦克风或者麦克风阵列、触摸屏或者触摸表面、或者指点装置、或者这些项目的某个组合以检测用户的姿势和命令。

本地传感器823可以包括上文提到的可以在本地装置上提供或者可用的任何传感器。这些可以包括在智能手机上通常可用的那些，例如前置和后置照相机、麦克风、定位系统、Wi-Fi和FM天线、加速度计和罗盘。这些传感器在观察场景时不仅提供位置感知，而且还允许本地装置确定其方位和运动。本地传感器数据被提供给命令执行模块，以在选择归档图像时使用并且用于加强那个图像。

数据通信模块825包含允许系统中的所有装置通信的有线或无线数据接口。可以存在与每个装置的多个接口。在一个示例中，AR显示器通过Wi-Fi通信以发送关于AR角色的详细参数。它还通过蓝牙通信以发送用户命令和接收音频以便通过AR显示装置播放。可以使用任何适当的有线或无线装置通信协议。

虚拟对象行为模块804被适配以接收来自其它模块的输入，并且将此类输入应用到已生成的并且正在显示器中示出的虚拟对象。因此，例如，用户输入和姿势识别系统将解释用户姿势，并且通过将捕获的用户的手部的运动映射到识别的运动，虚拟对象行为模块将把虚拟对象的位置及运动关联到用户输入，以生成将指引虚拟对象的运动来对应于用户输入的数据。

组合模块806更改归档图像，例如卫星地图或者其它图像，以添加由客户端装置上的本地传感器823收集的信息。这个模块可以驻留在客户端装置上或者在“云”服务器上。组合模块使用来自于对象和人标识模块807的数据，并且添加该数据到来自图像源的图像。对象和人被添加到现有图像。人可以是化身表示或者更现实的表示。

组合模块806可以将试探法用于更改卫星地图。例如，在允许竞赛在头顶上的尝试当场轰炸人或角色的化身的飞机的游戏中，本地装置收集包括以下的信息：GPS位置、头发颜色、着装、周围的交通工具、照明状况和云遮盖。这个信息可以然后被用来构建要在卫星地图上可见的玩家的化身、周围的对象和环境状况。例如，用户能够使虚拟飞机在添加到所存储的卫星地图的实际的云后面飞行。

对象和化身表示模块808接收来自对象和人标识模块807的信息，并且将这个信息表示为对象和化身。该模块可以被用来将任意实际对象表示为对象的现实表示或者表示为化身。化身信息可以从其它用户或者化身信息的中央数据库接收。

对象和人标识模块使用接收的照相机数据来标识特定的实际对象和人。例如巴士和小汽车的大型对象可以与图像库进行比较以标识该对象。人能够使用面部识别技术或者通过经由个人、本地或者蜂窝网络接收来自装置的与所标识人相关联的数据来标识。已经标识了对象和人，身份能够然后被应用到其它数据，并且提供给对象和化身表示模块以生成对象和人的适当表示以供显示。

位置和方位模块803使用本地传感器823来确定本地装置的位置和方位。这个信息被用来选择归档图像，并且提供那个图像的适当视图。该信息可以还被用来补充对象和人识别。作为示例，如果用户装置位于Westminster桥上，并且方位朝东，则照相机观察到的对象位于桥上。对象和化身表示模块808使用那个信息能够然后将这些对象表示为在桥上，并且组合模块能够使用那个信息通过将对象添加到桥的视图来加强图像。

游戏模块802提供额外的交互和效果。游戏模块可以生成虚拟角色和虚拟对象以添加到加强的图像。它可以还提供任意数量的游戏效果给虚拟对象，或者作为与实际对象或化身的虚拟交互。例如图4、7A和7B的游戏比赛可以全部由游戏模块提供。

3D图像交互和效果模块805在加强的图像中跟踪与实际和虚拟对象的交互，并且确定z轴（朝向或者远离屏幕平面）中对象的影响。它提供额外的处理资源以在三维中提供这些效果连同对象彼此间的相对影响。例如，由用户姿势投掷的对象在对象行进时能够受加强图像的前景中（例如在空中）天气、虚拟和实际对象以及其它因素影响。

图9是计算系统（例如个人计算机、游戏控制台、智能手机或者便携式游戏装置）的框图。计算机系统900包括用于通信信息的总线或者其它图像部件901以及处理部件，例如与总线901耦合的用于处理信息的中央处理器902。计算机系统可以采用特别用于通过并行管线再现图形的图形处理器903和用于如上所述计算物理交互的物理处理器905来加强。这些处理器可以被合并到中央处理器902中，或者作为一个或多个单独处理器来提供。

计算机系统900还包括耦合到总线用于存储要由中央处理器902执行的指令和信息的主存储器904，比如随机存取存储器（RAM）或者其它动态数据存储装置。主存储器还可以用于在处理器执行指令期间存储临时变量或者其它中间信息。计算机系统可以还包括耦合到总线用于为处理器存储静态信息和指令的非易失性存储器，例如只读存储器（ROM）906或者其它静态数据存储装置。

大容量存储装置907，例如磁盘、光盘或者固态阵列及其对应驱动器，可以还耦合到计算机系统的总线以存储信息和指令。计算机系统能够还通过总线耦合到显示器921，例如液晶显示器（LCD）和有机发光二极管（OLED）阵列，用于向用户显示信息。例如，除了上文论述的各种视图和用户交互以外，还可以在显示装置上向用户呈现安装状态、操作状态和其它信息的图形和文字指示。

通常，用户输入装置922，例如带有字母数字、功能和其它按键的键盘可以耦合到总线以用于传递信息和命令选择给处理器。另外的用户输入装置可以包括光标控制输入装置，例如鼠标，轨迹球、轨迹盘或者光标指引键能够耦合到总线，用于传递指引信息和命令选择给处理器并且控制显示器921上的光标移动。

相机和麦克风923耦合到总线以观察姿势，记录音频和视频并且接收上文提到的视觉和音频命令。

通信接口925也耦合到总线901。通信接口可以包括调制解调器、网络接口卡或者其它众所周知的接口装置，例如用于耦合到以太网、令牌环或者其它类型的物理有线或者无线附连的那些，例如用于提供支持局域网或广域网（LAN或WAN）的通信链路。以此方式，计算机系统可以还通过例如包括内联网或者因特网的常规网络基础设施耦合到若干的外围装置、客户端、控制面、控制台或者服务器。

要领会，相比上文所述的示例，更少或更多配备的系统对于某些实施方式可以是优选的。因此，示范系统800和900的配置将从实施方式到实施方式而改变，这取决于众多因素，例如价格约束、性能要求、技术改进或者其它情形。

实施例可以被实施为以下中的任意或组合：使用母板互连的一个或多个微芯片或者集成电路、硬线逻辑、由存储器装置存储并且由微处理器执行的软件、固件、专用集成电路（ASIC）和/或现场可编程门阵列（FPGA）。作为示例，术语“逻辑”可以包括软件或硬件和/或软件和硬件的组合。

实施例可以被例如提供为可以包括一个或多个机器可读媒体的计算机程序产品，该可读媒体具有存储在其上的机器可执行指令，指令在被一个或多个机器，例如计算机、计算机网络或者其它电子装置，执行时可以导致一个或多个机器执行根据本发明实施例的操作。机器可读媒体可以包括但不限于软盘、光盘、CD-ROM（压缩盘只读存储器）和磁光盘、ROM（只读存储器）、RAM（随机存取存储器）、EPROM（可擦除可编程只读存储器）、EEPROM（电可擦除可编程只读存储器）、磁卡或光卡、闪速存储器或者适用于存储机器可执行指令的其它类型的媒体/机器可读介质。

此外，实施例可以被作为计算机程序产品下载，其中程序可以经由通信链路（例如调制解调器和/或网络连接）利用包含在载波或者其它传播介质中和/或由载波或者其它传播介质调制的一个或多个数据信号从远程计算机（例如服务器）传递到请求计算机（例如客户端）。因此，如本文所用的，机器可读介质可以但不要求包括此类载波。

对“一个实施例”、“实施例”、“示例实施例”、“各个实施例”等的引用指示，这样描述的本发明的实施例可以包括特定特征、结构或者特性，但不是每个实施例一定包括所述特定特征、结构或者特性。此外，一些实施例可以具有针对其它实施例描述的特征中的一些、全部或者没有一个。

在以下描述和权利要求书中，术语“耦合”连同其派生词可以被使用。“耦合”用来指示两个或多个元件彼此协作或交互，但是它们可以或者可以不具有在它们之间的介于中间的物理或者电气部件。

如权利要求书中所用的，除非以其它方式规定，描述共同要素的序数形容词“第一”、“第二”、“第三”等的使用只是指示，类似要素的不同实例正在被提及，并且不意图暗示这样描述的要素必须在时间上、在空间上、在排序中或者以任意其它方式处于给定顺序。

附图和前述描述给出了实施例的示例。本领域技术人员将领会，所述元件中的一个或多个可以适当组合成单个功能元件。备选地，某些元件可以被分为多个功能元件。来自一个实施例的元件可以被添加到另一个实施例。例如，本文所述的过程的顺序可以被改变并且不限于本文所述的方式。此外，任何流程图中的动作不需要以所示顺序来实施；不是所有动作一定需要被执行。此外，与其它动作无关的那些动作可以与所述其它动作并行地执行。实施例的范围决不受这些特定示例限制。许多变化，无论是否在说明书中明确给出，比如结构、尺寸和材料使用的差别是可能的。实施例的范围至少与由随附权利要求书给出的一样广泛。

Claims (41)

1.一种方法，包括：

通过捕获在位置出现的真实对象的图像，从本地装置的本地传感器收集关于所述位置的数据；

使用所述本地传感器来确定所述本地装置的位置和方位，并且基于所述本地装置的所确定的位置和方位来选择归档图像；

在所述本地装置从远程图像存储接收所述归档图像；

通过在对应于所述位置的所述归档图像中各位置添加所述真实对象的图像，使用收集的数据加强所述归档图像；以及

在所述本地装置上显示加强的归档图像。

2.如权利要求1所述的方法，其中，收集数据包括确定位置和当前时间，并且其中加强包括修改所述归档图像以对应于所述当前时间。

3.如权利要求2所述的方法，其中，所述当前时间包括日期和时刻，并且其中修改所述归档图像包括修改所述归档图像的照明和季节效果，使得它看起来对应于所述当前日期和时刻。

4.如权利要求1所述的方法，其中所述对象包括人、建筑物或车辆。

5.如权利要求4所述的方法，其中，出现的对象包括附近的人，并且其中加强还包括生成表示所述附近的人的外表的化身，并且将生成的化身添加到所述归档图像。

6.如权利要求5所述的方法，其中，生成化身包括在所述附近的人中标识人，并且基于从标识的人接收的化身信息生成化身。

7.如权利要求5所述的方法，其中，生成化身包括表示附近的人的面部表情。

8.如权利要求1所述的方法，其中，收集数据包括收集当前天气状况数据，并且其中加强包括修改所述归档图像以对应于当前天气状况。

9.如权利要求1所述的方法，其中，所述归档图像是卫星图像、街道地图图像、大厦规划图像和照片中至少之一。

10.如权利要求1所述的方法，还包括生成虚拟对象，并且其中加强包括将生成的虚拟对象添加到所述归档图像。

11.如权利要求1所述的方法，还包括从远程用户接收虚拟对象数据，并且其中生成包括使用接收的虚拟对象数据生成所述虚拟对象。

12.如权利要求11所述的方法，其中，所述虚拟对象对应于从所述远程用户发送给所述本地装置的消息。

13.如权利要求10所述的方法，还包括在所述本地装置接收用户输入以便与所述虚拟对象交互，并且在所述本地装置上在加强的归档图像上显示所述交互。

14.如权利要求10所述的方法，还包括响应于天气状况修改所添加的虚拟对象的行为。

15.如权利要求14所述的方法，其中，所述天气状况是接收自远程服务器的当前天气状况。

16.一种设备，包括：

本地传感器，用于通过捕获在本地装置的位置出现的真实对象的图像，收集关于所述位置的数据；

位置和方位模块，用于使用所述本地传感器来确定所述本地装置的位置和方位，并且基于所述本地装置的所确定的位置和方位来选择归档图像；

通信接口，用于在所述本地装置从远程图像传感器接收所述归档图像；

组合模块，用于通过在对应于所述位置的所述归档图像中各位置添加所述真实对象的图像，使用收集的数据加强所述归档图像；以及

屏幕再现模块，用于在所述本地装置的显示器上显示加强的归档图像。

17.如权利要求16所述的设备，其中，所述组合模块还要构建环境状况以加强所述归档图像。

18.如权利要求17所述的设备，其中，所述环境状况包括云、照明状况、时刻和日期。

19.如权利要求16所述的设备，还包括表示模块，所述表示模块用于构建人的化身并且提供所述化身给所述组合模块以加强所述归档图像。

20.如权利要求19所述的设备，其中，所述化身使用由所述本地传感器收集的关于所述本地传感器观察到的人的数据来生成。

21.如权利要求19所述的设备，其中，所述本地装置正在运行多玩家游戏，并且其中所述化身基于所述多玩家游戏中的其它玩家提供的信息来生成。

22.如权利要求16所述的设备，还包括允许用户与呈现在所述显示器上的虚拟对象进行交互的用户输入系统，并且其中所述屏幕再现模块在所述本地装置上在加强的归档图像上显示所述交互。

23.一种设备，包括：

照相机，用于通过捕获在本地装置的位置出现的真实对象的图像，收集关于所述位置的数据；

网络无线电装置，用于在所述本地装置从远程图像传感器接收归档图像，其中，所述归档图像是基于所述照相机所确定的所述本地装置的位置和方位来选择的；

处理器，具有通过在对应于所述位置的所述归档图像中各位置添加所述真实对象的图像，使用收集的数据加强所述归档图像的组合模块，和在所述本地装置上生成加强的归档图像的显示的屏幕再现模块；以及

显示器，用于向用户显示所述加强的归档图像。

24.如权利要求23所述的设备，还包括定位无线电信号接收机，用于确定位置和当前时间，并且其中所述组合模块修改所述归档图像以对应于所述当前时间包括所述归档图像的照明和季节效果。

25.如权利要求24所述的设备，还包括与所述显示器相关联的触摸接口，用于接收关于所述显示器上显示的虚拟对象的用户命令，所述处理器还包括虚拟对象行为模块，所述虚拟对象行为模块响应于所述用户命令而确定与所述显示器相关联的虚拟对象的行为。

26.一种机器可读介质，其上面存储指令，所述指令在被执行时导致所述机器执行如权利要求1-15中任一项所述的方法。

27.一种装置，包括：

用于通过捕获在位置出现的真实对象的图像，从本地装置的本地传感器收集关于所述位置的数据的部件；

用于使用所述本地传感器来确定所述本地装置的位置和方位，并且基于所述本地装置的所确定的位置和方位来选择归档图像的部件；

用于在所述本地装置从远程图像存储接收所述归档图像的部件；

用于通过在对应于所述位置的所述归档图像中各位置添加所述真实对象的图像，使用收集的数据加强所述归档图像的部件；以及

用于在所述本地装置上显示加强的归档图像的部件。

28.如权利要求27所述的装置，其中，用于收集数据的部件包括用于确定位置和当前时间的部件，并且其中用于加强的部件包括用于修改所述归档图像以对应于所述当前时间的部件。

29.如权利要求28所述的装置，其中，所述当前时间包括日期和时刻，并且其中用于修改所述归档图像的部件包括用于修改所述归档图像的照明和季节效果，使得它看起来对应于所述当前日期和时刻的部件。

30.如权利要求27所述的装置，其中所述对象包括人、建筑物或车辆。

31.如权利要求30所述的装置，其中，出现的对象包括附近的人，并且其中用于加强的部件还包括用于生成表示所述附近的人的外表的化身，并且将生成的化身添加到所述归档图像的部件。

32.如权利要求31所述的装置，其中，用于生成化身的部件包括用于在所述附近的人中标识人的部件，以及用于基于从标识的人接收的化身信息生成化身的部件。

33.如权利要求31所述的装置，其中，用于生成化身的部件包括用于表示附近的人的面部表情的部件。

34.如权利要求27所述的装置，其中，用于收集数据的部件包括用于收集当前天气状况数据的部件，并且其中用于加强的部件包括用于修改所述归档图像以对应于当前天气状况的部件。

35.如权利要求27所述的装置，其中，所述归档图像是卫星图像、街道地图图像、大厦规划图像和照片中至少之一。

36.如权利要求27所述的装置，还包括用于生成虚拟对象的部件，并且其中用于加强的部件包括用于将生成的虚拟对象添加到所述归档图像的部件。

37.如权利要求27所述的装置，还包括用于从远程用户接收虚拟对象数据的部件，并且其中用于生成的部件包括用于使用接收的虚拟对象数据生成所述虚拟对象的部件。

38.如权利要求37所述的装置，其中，所述虚拟对象对应于从所述远程用户发送给所述本地装置的消息。

39.如权利要求36所述的装置，还包括用于在所述本地装置接收用户输入以便与所述虚拟对象交互的部件，以及用于在所述本地装置上在加强的归档图像上显示所述交互的部件。

40.如权利要求36所述的装置，还包括用于响应于天气状况修改所添加的虚拟对象的行为的部件。

41.如权利要求40所述的装置，其中，所述天气状况是接收自远程服务器的当前天气状况。

Images