CN103703758B - 移动增强现实系统 - Google Patents

Abstract

本发明的各实施例涉及用来提供用相关的数据增强的图像数据以显示在移动计算设备上的系统、装置和方法。本发明的各实施例显示用在其它对象中标识对象的信息增强的实况视图。本发明的各实施例可以利用其它相关的数据，诸如3D点云数据、相关于对象的图像数据和位置数据，来获得实况视图内的对象的具体位置。本发明的各实施例还可以与移动计算设备的图像传感器的位置和方向三维地一致地显示有增强的数据的实况视图。

Description

移动增强现实系统

技术领域

本发明的各实施例一般地涉及移动计算设备，以及更具体地，涉及用相关的内容增强由图像设备捕捉的实况视图。

背景技术

移动计算设备通常包括相机、位置和方向传感器以及越来越强大的计算资源。移动计算设备也能够建立高带宽的连接以利用云计算基础结构和服务提供商。

包括在移动计算设备中的显示器可以用作实况取景器，允许设备用户捕捉实时图像数据(例如图片、视频)；然而，大多数应用程序不能利用移动计算设备可用的计算资源来向用户提供与所显示的实况视图(即取景器)内的主题相关的附加信息。尝试增强实况视图的有限数量的应用被限于显示基本信息诸如用户和一般位置之间的距离，或者相关于用户的位置及相关于实况视图中所捕捉的用户周围的表示不准确的关于用户周围的基本信息(例如实况视图内的商业类型)。

例如，如果用户想要标识所捕捉的实况视图内的具体商业位置，但所述商业和几个其它商业一起位于建筑中，则当前的解决方案可以用标识该建筑的数据来增强实况视图，但不能传递关于商业位置的更准确的信息。

附图简述

以下描述包括对具有作为示例的方式而给出的本发明的实施例的实现的图示的图的讨论。附图应被理解为示例的方式，而不是限制的方式。如此处使用的，引用一个或多个“实施例”应被理解为描述包括在本发明的至少一个实现中的特定特征、结构或特性。因此，此处出现的诸如“在一个实施例中”或“在替换性实施例中”的短语描述本发明的各种实施例和实现，并且不必全都指同一实施例。然而，它们也不必是互斥的。

图1是本发明的实施例的流程图。

图2是根据本发明的实施例的用来增强图像数据的3D模型的图。

图3是根据本发明的实施例的将被增强的实况视图场景。

图4是根据本发明的实施例的基于3D云数据生成的多个投影掩模的图示。

图5是根据本发明的实施例的增强的实况视图的图示。

图6A和6B示出了根据本发明的实施例的多个兴趣点的投影掩模和增强的实况视图。

图7是可以利用本发明的实施例的系统的框图。

随后是某些细节和实现的描述，包括可以描绘下面所描述的实施例的一些或全部的图的描述，以及讨论此处所呈现的发明性概念的其它潜在实施例或实现。下面提供了本发明的实施例的概述，随后是参考附图的更详细的描述。

具体实施方式

本发明的各实施例涉及用来提供用相关的数据增强的图像数据以显示在移动计算设备上的系统、装置和方法。尽管当前的解决方案处理3D数据以执行有限的实时对象识别，但这样的信息可能不足以将有用的信息传递给用户。例如，如果用户想要标识所捕捉的实况视图内的具体商业位置，但所述商业和几个其它商业一起位于建筑中，则单单处理3D点云数据不会生成足以告诉用户商业位置在何处的信息；换言之，当前的解决方案可以用标识建筑的数据来增强实况视图，但在上述情形中当前的解决方案不能传递关于商业位置的更准确的信息。

本发明的各实施例通过用在3D点云数据内的其它对象之中标识对象——例如，找到包括在公共建筑外观中的店面(或诸店面)的范围——的信息增强实况视图来解决上述限制。本发明的各实施例可以利用其它相关的数据，诸如相关于对象的图像数据和位置数据，来获得实况视图内的对象的具体位置。

本发明的各实施例还可以利用与移动计算设备的图像传感器的位置和方向三维地一致的增强数据显示实况视图。本发明的各实施例可以通过处理实况视图图像数据和预先存在的3D图像数据来确定实况视图的对齐。对图像传感器的位置和方向的确定还可以是基于来自主移动计算设备的其它传感器的传感器数据。

下面描述的示例情形专注于包括多个商业或店面的建筑内的兴趣点。应理解，本发明的各实施例可以用于包括在对象中但不能单独从3D点云数据区分出来的任何兴趣点，例如，由包括在墙中的一组轮廓、包括在书架中的一部分书、雕塑的特定特征等定义的对象。

图1是本发明的实施例的流程图。如此处所示的流程图提供了各种处理动作的序列的示例。尽管是以特定序列或次序示出的，但除非另外地指定，否则动作的次序是可以修改的。由此，所示的各实现应被理解为只是示例，并且所示的过程可以用不同的次序执行，并且一些动作可以并行地执行。附加地，在本发明的各种实施例中可以省略一个或多个动作；由此，不是所有的动作都在每个实现中被需要。其它的过程流也是可能的。

在过程流100中，处理对象的3D云数据的数据库，110。所述数据库可以包括由激光雷达、立体成像、结构光、飞行时间相机或任何其它技术获得的，用作生成对象的3D模型的输入的3D点云数据。应理解，对象的3D模型将包括表示对象的各种轮廓的多个段。例如，具有简单立方形状的对象的3D模型将包括多个2D平面的安排，而具有更复杂的表面变化的对象可以具有2D平面和3D段的安排。

由此，处理对象的3D数据可以包括提取对象段(例如2D平面)、将诸点云数据集组合、将点云数据与位置数据相关联(下面将描述)和噪音移除。所述处理3D数据可以经由不同的过程以不同的次序执行。

在一些实施例中，处理所述3D数据还可以包括处理来自各种视角的对象或场景的预先存储的多个2D图像以及来自不同的视角和视图位置的相对应的3D点云数据集。这些点云数据集可以重叠。为了标识重叠的区域，可以将点云数据集限制在本地邻居中，并可以合并相关的点云信息。

在一个实施例中，3D点云数据集被建模为实际3D点的含噪声的测量(噪声的源可以包括测量点的不确定性、它的方向、传感器噪声等)的集。然后可以获得对重叠区域中的噪声统计和3D点的原始集的估计。可以利用这些噪声统计来获得对所有点云数据集的3D点的更好估计，以便提取将如下所述被利用的投影掩模。应理解，在重叠的区域中的3D点具有最准确的估计，并且由此对这些点在估计它们属于哪个投影掩模时可以给予优先权(例如，加权最小平方可以用于投影掩模参数的估计，其中给这些点分配更多的权重)。

在一个实施例中，接收与3D点云数据相关联的置信度/可靠性信息。此附加信息可以与3D点云数据一起利用以推断3D点的测量的可靠性。在一个实施例中，颜色信息可以用来更准确地根据3D点云数据标识对象。例如，在同一平面内、在像素距离上接近、并具有相似的颜色(即，相对应于预先存储的图像中的相同颜色的像素)的3D点将倾向于被分配给同一潜在对象。

可以执行由移动计算设备的图像传感器所捕捉的实况视图内的实时对象检测，120。如上所述，从3D点云数据提取的对象段形成预先存储的图像数据的粗略的3D模型。来自3D模型的这些对象段可以用来标识所捕捉的实况视图内的对象。在一个实施例中，相关的数据(诸如标识移动计算设备的位置的数据)也可以用来帮助标识对象。移动计算设备可以利用系统组件和应用(例如，全球定位系统(GPS)传感器、蜂窝或WiFi网络连接、方向传感器)来缩小设备的位置。

确定移动计算设备的图像传感器相对于对象的位置和方向，130。所述位置和方向可以基于所捕捉的对象的实况视图而确定——即，通过标识哪些对象段在实况视图中是可见的并将这些对象段匹配到对象的3D模型，可以确定相对于对象，移动计算设备的图像传感器位于何处。返回到查看立方形状的对象的示例，如果只有立方形状的对象的朝北的面在实况视图中可见，则可以确定图像传感器位于立方形状的对象的北面，并且足够接近对象从而只有对象的一个面在实况视图中可见。在一个实施例中，以上所述的相关联的位置数据也用来帮助确定图像传感器的位置和视角。

根据对象的3D模型生成包括在对象中的兴趣点的投影掩模，140。可以通过例如姓名、类别、主题等标识兴趣点。如上所述，增强对象以高亮显示兴趣点中的特别挑战是当对象也包括其它潜在兴趣点的时候。由此，多个潜在兴趣点将被包括在对象的同一3D模型内，并且也可以被包括在3D模型的同一3D段内或甚至3D模型的同一2D平面内。

在一个实施例中，可以利用图像传感器的位置和方向信息，以及相关的其视图接近近似视图(例如参考模型)的兴趣点的近似位置的预先存储的图像数据，来提取对象的视觉特征。这些视觉特征被映射到3D模型的适当的段，并且形成对象的3D模型中的兴趣点的投影掩模。由此，每个投影掩模将包括3D模型的段的子集，或者在一些情形中，如下所述包括3D模型的段的一部分。

然后用图像数据增强实况视图，使得图像数据被包括在投影掩模中并与图像传感器的位置和方向三维地一致地显示，150。由此，增强应用程序或模块可以将数据投影到与兴趣点或兴趣对象相关的所生成的投影掩模内。换言之，用户可以用移动计算设备获取图像并将它注册在3D模型的正确透视图中。图像或实况视图可以实时地用在正确的透视图中添加的附加信息增强，附加信息诸如文本、图像或视频、或一些3D结构。

执行上述实施例过程的移动客户端平台可以包括相机、位置和方向传感器和无线通信能力。在一个实施例中，移动客户端设备实时地通过网络从服务器访问所处理的数据；如果由于成本或其它原因用户不能连接到网络，则可以预先加载小型数据库到移动客户端设备上。

由此，本发明的各实施例可以执行离线数据库处理、在线对象检测和移动计算设备跟踪，并将离线和在线数据组合进有意义的增强的用户显示中。

图2是根据本发明的实施例的用来增强图像数据的3D模型的图。图2示出了可以由本发明的各实施例处理的图像数据、3D点云数据和投影掩模。3D点云250相对应于对象205的预先存储的3D图像200。云250中的每个3D点表示图像200的像素的实际3D位置。图像200中的一些像素，例如天空中的像素，可以不具有相对应的3D点。

在一些实施例中，3D点云数据250被转换成更适于后续处理的坐标系统。例如，如果3D点云数据250是“纬度、经度和海拔”的格式，则将格式转换成本地坐标系统诸如东、北和上(ENU)可能更有用，这样坐标的值更小(即，与以地球的中心为原点的系统中的坐标相比)。此转换也可以更好的传递3D点云数据250的垂直和水平方向。

在一些实施例中，3D点云数据250来自较大的3D点云数据集的子采样以使计算更快。这可以通过对预先存储的图像或相对应的3D点云下采样来完成。例如，对于200×500的图像，相对应的3D点云数据的大小可以由多达150000个点构成。通过在水平和垂直维度都以比率10采样图像，3D点的数量可以减少到1500个点。

为了根据3D点云数据250确定对象205的轮廓，本发明的各实施例可以采用随机样本一致性(RANSAC)方案并将预先存储的图像200和3D点云数据250二者组合，以引导RANSAC中的采样过程，而不是任意地采样3D点云数据。在此示例中，因为对象205是立方形状的，它的3D模型是根据有限数量的2D平面(包括2D平面段290、291和292)而制成的。

对于标识对象205中用户标识的兴趣点的示例使用而言，可以确定2D平面段中的哪个包括所述兴趣点。在此示例中，用户标识的兴趣点在2D平面段290和291中可见。处理用户选择的兴趣点的其它信息以确定它的边界，以便生成如所示的投影掩模299。

图3是根据本发明的实施例的将被增强的实况视图场景。在此示例中，显示器310包括经由包括在移动计算设备300中的图像传感器(例如相机)的用户周围的实时视图320。所述设备可以是任何便携式计算系统，诸如膝上型计算机、平板计算机、智能电话、手持式计算设备、车载计算设备等。

应理解，通过显示实时视图320，显示器310可以用作显示图像数据(例如图片、视频)以允许用户观察设备300的图像传感器的目标的取景器。在此示例中，实时视图320包括建筑330、340、350、360和370的视图，其中这些建筑的视图中的一些被树380和385部分地遮挡。

本发明的各实施例可以处理可用的3D模型和潜在的增强信息以实时地在移动设备300上使用。例如，本发明的各实施例可以合并街道地址、3D模型、3D点云、深度图像和辐射测量的(颜色)图像以确定每个建筑内的潜在兴趣点的真实范围。因为一些实施例离线地预先处理此消息，所以不存在严格的时间、计算复杂度或存储限制(即，应理解，建筑检测是计算昂贵的操作且通常不可能以视频帧率执行)。

此外，上述处理使设备300能检测(即识别)和跟踪视图320中的建筑，并估计设备300的图像传感器相对于建筑的位置和方向。在一个实施例中，与方向传感器(例如指南针、加速计)耦合的GPS或其它定位服务(诸如WiFi和3G)用来找到图像传感器的位置和方向。应理解，此传感器信息可以简化建筑检测，因为系统只需要与实现位置和方向限制的数据库图像匹配。为了执行建筑检测，来自设备300上的输入视频帧的视觉特征可以被提取并与来自候选数据库图像的预先处理的视觉特征相比较。

因为建筑检测和设备跟踪过程可以占用不同长度的计算时间，本发明的各实施例可以使用多线程框架来协调这些任务。例如，用于确定设备300的位置和方向的跟踪线程可以实时地完成，而建筑检测线程可以没有硬性时间限制地完成。所述多线程框架也可以协调来自建筑检测线程和跟踪线程的输出。在一个实施例中，利用置信度测量来检查来自建筑检测过程的输出的可靠性，并且，当新结果可用时，如果它们比先前的结果更可信则更新显示器310。如果置信度值大于来自跟踪线程的过期置信度值，则来自建筑检测线程的输出用来更新所确定的设备300的姿势。

由此，在增强实况视图320之前，本发明的各实施例可以执行上述的建筑检测和设备跟踪过程。处理可以发生在移动计算设备上、操作地耦合到该移动计算设备的另一计算设备或服务器上、或其任何组合。类似地，在建筑检测和设备跟踪过程中使用的数据可以被包括在移动计算设备上、操作地耦合到该移动计算设备的另一计算设备或服务器上、或其任何组合。

在此示例中，设备300的位置使得只有建筑330-370的前外观在视图320中。如上所述，一组特定的挑战出现在当用户标识的兴趣点是与其它未选择的商业一起包括在建筑中的商业时户外建筑识别和增强。在此示例中，建筑330和350每个包括多个商业；由此，仅仅标识所述建筑和提取与每个建筑的前外观有关的投影掩模不足以将有意义的增强的内容传递给用户。出于这些原因，系统必须知晓每个建筑的3D几何，以及它的纬度和经度。当场景被增强时，标签必须与各个店面有意义地相关。由此，本发明的各实施例还可以处理相关的数据以启用将增强的内容本地化到相关的店面，并生成投影掩模使得增强的内容出现在建筑外观的适当的区中。在一个实施例中，增强的内容将位于或接近店面的中心，并且所生成的投影掩模的范围将与店面的范围相同。为了将这类体验呈现给用户，本发明的各实施例可以在适当的时候语义地将建筑分段。

图4是根据本发明的实施例的基于3D云数据生成的多个投影掩模的图示。所示的投影掩模是通过上述过程从相关于视图320的3D信息提取的。在此示例中，给定建筑的形状和它们在显示器310内的透视图，所述投影掩模被示为包括在每个建筑的前外观中的2D平面段。

建筑330包括四个不同的潜在兴趣点(例如，四个不同的商业)并且是由投影掩模431、432、433和434表示的。建筑350包括三个不同的潜在兴趣点，并且是由投影掩模451、452和453表示的。建筑340、360和370每个只包含一个潜在兴趣点，并且，由此每个分别是由单个投影掩模441、461和471表示的。

上述投影掩模中的每一个在出现在视图320中时都是与它们各自的建筑的表面平面几何地一致的。对于包括多个潜在兴趣点的建筑330和350，本发明的各实施例可以处理位置信息、建筑几何和视觉图像以生成适当的投影掩模。

在一个实施例中，建筑的3D模型中的店面的中心是估计的。例如，在可以给出每个店面相对于街区的次序和邻近位置的每个商业的已知街道地址的辅助下，估计此中心。然后可以将此粗略的估计投影到3D模型上，其中实施了几何限制。这样的限制可以包括店面的最小和最大宽度，或者相关于外观上的不同的平面的位置。

在一个实施例中，所处理的数据包括已知密集GPS位置处的街道级别的球面全景图像的集合。与深度数据和投影掩模序列的形式的3D信息一起处理的这些图像将近似包括在视图320中的城市场景的结构。如上所述，在一些实施例中，为了使这样的数据对移动计算设备上的处理(例如检测、跟踪和增强)有用，预处理是必要的。这些全景是通过以相对于包括显示器310的设备的固定方向将它们投影到上述平面上来处理的。应理解，当它们具有与来自移动设备的查询图像相似的几何形状时，这样的投影的2D图像可以适于用作移动设备上的视觉匹配的参考图像。

在一个实施例中，进一步估计每个建筑内各个店面的真实范围是通过使用上述的街道级别的球面全景图像的集合而完成的。每个店面表示在数据库的多个视图中，由此重构精细尺度的深度。然后此颜色和深度数据可以与3D模型合成，并且每个店面的范围可以从中心点开始生长，直到达到了自然的颜色和/或深度边界。

本发明的各实施例还可以使用位置信息，例如投影掩模的中心的GPS坐标，以执行地理编码(添加坐标到平面图像段)，或反地理编码(对给定位置查找已有的信息)。反地理编码可以用作实时设备操作的增强信息的一个源。一旦地理编码系统就位，它可被部署作为用户对传统图像和视频内容添加地理标签供后续使用的服务。

估计店面的范围还可以通过包括由商业所有者或设备用户提供的更多数据来辅助。在设备用户的情况中，本发明的各实施例可以提供用于操纵增强的简单的编辑方法。这可以是简单的多边形，允许用户移动其角落。这将允许用户输入正确的但轻微地未对齐的结果以快速地更新服务。然后这些更新被聚集并与彼此以及其它已知数据进行比较，从而下一用户将得到改进的服务。在一个实施例中，因为假定了店所有者是关于该店的准确数据的更受激励的和可信的贡献者，所以在聚集方案中可以给予来自商业所有者的数据更高的优先权。

图5是根据本发明的实施例的增强的实况视图的图示。在此实施例中，增强的内容窗口500标识了建筑350中适当的兴趣点，并显示了关于实时视图520中的兴趣点的图像数据510。图像数据510是与它各自的投影掩模几何地一致(即，与图4的2D平面452几何地一致)地显示的。

图像数据510可以包括关于兴趣点的图像(例如标识兴趣点的边界的图像)、关于兴趣点的视频内容(例如视频广告)、3D动画对象(例如3D动画广告)、或关于兴趣点的文本数据。所述图像数据可以被包括在设备300的存储器存储中，或经由网络连接(例如无线因特网连接)从数据库获得。

图6A和6B示出了根据本发明的实施例的多个兴趣点的投影掩模和增强的实况视图。在此实施例中，所捕捉的建筑600的视图包括从图像传感器的角度相对平面的两个外观段610和630，以及轮廓外观段620。由此，本发明的各实施例可以利用2D平面段和3D轮廓/球面的掩模来向系统提供建筑600的外观的范围的粗略估计。

由此，应理解，所投影的掩模610-630可以用来表示对象的相关部分的表面轮廓。轮廓投影掩模620稍后可以用于实时处理中的增强内容，其中增强内容将与掩模620的轮廓一致(以及与主移动设备相对于建筑600的方向一致)地投影。附加地，轮廓信息可以用在与边缘检测的组合中，以改进用于标识建筑600的对象检测。

由此，可以标识多个兴趣点。可以显示相对应于兴趣点的相关的图像数据(例如，图标、文本数据、视频、3D动画对象、或如上所述的图像数据)。在此示例中，标识建筑600中的每个商业的名字的文本数据如图6B中所示的显示。文本数据既在每个各自的商业的边界内居中，也基于相关的投影掩模而显示。

图7是可以利用本发明的实施例的系统的框图。系统700可以包括预处理模块710，用于如上所述地执行涉及预先存储的图像和3D点云数据的操作以生成对象的3D模型。系统700还可以包括图像传感器720，用于如上所述地捕捉图像数据。

投影模块730可以如上所述地处理对象的3D数据和位置数据以生成投影掩模。增强模块740可以如上所述地用投影掩模内的相关联的内容增强所捕捉的图像数据。增强的图像数据可以在显示750上显示。

在此实施例中，模块710、730和740是经由处理器760执行的。上述的系统700的所有组件都可以经由总线770操作地耦合。应理解，图7中所描述的各种模块可以全部被包括在移动计算设备中，或者单独地在不同的位置(即，图7中的模块中的任一或全部可以被包括在与移动计算设备接口以提供“后端处理”的服务器中)。此外，应理解，相关于所描述的模块的操作只是示例实施例，并且以上所述的任何操作都可以经由操作地耦合到一起的多个设备执行。

此处所描述的以上称为过程、服务器或工具的各种组件可以是用于执行所描述的功能的手段。此处所描述的每个组件包括软件或硬件，或这些的组合。每个和全部组件都可以实现为软件模块、硬件模块、专用硬件(例如，应用特定的硬件、ASIC、DSP等)、嵌入式控制器、硬件电路、硬件逻辑等。软件内容(例如，数据、指令、配置)可以经由包括非瞬态、有形的计算机或机器可读存储介质的制品而提供，该介质提供表示可以被执行的指令的内容。内容可以导致计算机执行此处所描述的各种功能/操作。计算机可读存储介质包括以计算机(例如计算设备、电子系统等)可以访问的形式提供(即存储和/或传输)信息的任何机制，诸如可刻录/不可刻录介质(例如，只读存储器(ROM)、随机访问存储器(RAM)、磁盘存储介质、光存储介质、闪存设备等)。内容可以是可直接执行的(“对象”或“可执行”形式)、源代码或差别代码(“增量”或“补丁”代码)。计算机可读存储介质也可以包括从中可以下载内容的存储或数据库。计算机可读介质也可以包括在出售或递交时具有存储于其上的内容的设备或产品。由此，递交有存储的内容的设备或者提供用于通过通信介质下载的内容可以被理解为提供具有此处所描述的这种内容的制品。

Claims (14)

1.一种用于增强实况视图的装置，所述装置包括：

处理器；

存储器；以及

增强模块，该增强模块包括在所述存储器中并经由所述处理器执行以接收标识兴趣点POI的数据，

检测包括在由图像传感器捕捉的实况视图中的结构的表面，所述结构包括所述POI，

至少部分地基于检测到的包括在所述实况视图中的所述结构的表面和来自第二传感器的数据，确定所述图像传感器相对于POI的位置和方向，

当所述图像传感器捕捉所述实况视图时，跟踪所述图像传感器的所述位置和所述方向，以及

生成包括与所述POI相关联的图像数据的显示数据用于增强实况视图，其中所述图像数据在显示在检测到的所述结构的表面上的POI处的实况视图中时是与所述图像传感器的所述位置和所述方向三维地一致的；

预处理模块：用于生成所述结构的3D模型；以及

投影模块，用于生成投影掩模，所述投影掩模包括所述3D模型的多个段的子集或段的部分，

其中，所述增强模块用于与所述投影掩模的轮廓以及所述图像传感器相对于所述结构的方向一致地投影所述图像数据。

2.如权利要求1所述的装置，其特征在于，所述装置包括操作地耦合到移动计算设备的服务器设备，所述移动计算设备包括所述图像传感器、所述第二传感器以及用于显示包括与所述POI相关联的所述图像数据的增强的实况视图的显示器。

3.如权利要求1所述的装置，其特征在于，所述装置包括移动计算设备，所述移动计算设备还包括用于显示包括与所述POI相关联的所述图像数据的增强的实况视图的显示器。

4.如权利要求1所述的装置，其特征在于，所述结构包括建筑，且所检测到的所述结构的表面包括所述建筑的外面。

5.如权利要求1所述的装置，其特征在于，来自所述第二传感器的所述数据包括以下中的一个或多个：

经由加速计捕捉的加速度数据；

经由指南针捕捉的磁场数据；

经由蜂窝电话塔三角测量捕捉所述装置的地理信息；以及

全球定位卫星GPS数据。

6.如权利要求1所述的装置，与所述POI相关联的所述图像数据标识所检测到的所述结构的表面内的所述POI的边界的集合。

7.如权利要求1所述的装置，所述增强模块还确定所检测到的所述结构的表面内的所述POI的中心，所述显示数据基于所述POI的所述中心而生成。

8.如权利要求1所述的装置，其特征在于，与所述POI相关联的所述图像数据包括静态图像数据和视频图像数据中的至少一个。

9.一种增强实况视图的方法，所述方法包括：

接收标识兴趣点POI的数据；

检测包括在由图像传感器捕捉的实况视图中的结构的表面，所述结构包括所述POI；

至少部分地基于所检测的包括在所述实况视图中的所述结构的表面和来自第二传感器的数据，确定所述图像传感器相对于POI的位置和方向；

当所述图像传感器捕捉所述实况视图时，跟踪所述图像传感器的所述位置和所述方向；

生成包括与所述POI相关联的图像数据的显示数据用于增强实况视图，其中所述图像数据在显示在检测到的所述结构的表面上的POI处的实况视图中时是与所述图像传感器的所述位置和所述方向三维地一致的；

生成所述结构的3D模型；

生成投影掩模，所述投影掩模包括所述3D模型的多个段的子集或段的部分；以及

与所述投影掩模的轮廓以及所述图像传感器相对于所述结构的方向一致地投影所述图像数据。

10.如权利要求9所述的方法，其特征在于，所述结构包括建筑，并且所检测到的所述结构的表面包括所述建筑的外面。

11.如权利要求9所述的方法，其特征在于，来自所述第二传感器的数据包括以下中的一个或多个：

经由加速计捕捉的加速度数据；

经由指南针捕捉的磁场数据；

经由蜂窝电话塔三角测量捕捉的地理信息；以及

全球定位卫星GPS数据。

12.如权利要求9所述的方法，与所述POI相关联的所述图像数据标识所检测到的所述结构的表面内的所述POI的边界的集合。

13.如权利要求9所述的方法，还包括确定所述结构的所述表面内的所述POI的中心，所述显示数据基于所述POI的所述中心而生成。

14.如权利要求9所述的方法，其特征在于，与所述POI相关联的所述图像数据包括静态图像数据和视频图像数据中的至少一个。