CN116075689A - 混合深度图 - Google Patents

Abstract

一种方法，包括接收对深度图的请求，基于设备深度图和下载的深度信息生成混合深度图，以及用混合深度图响应对深度图的请求。设备深度图可以是使用传感器和/或软件在用户设备上捕获的深度数据。下载的深度信息可以与存储在(对于用户设备而言)远程的服务器上的深度数据、图数据、图像数据和/或类似者相关联。

Description

混合深度图

技术领域

实施例涉及生成深度图像、深度图和/或类似者，以供在露天或室外环境和/或室内环境中操作的移动设备上执行的应用使用。

背景技术

增强现实库可以使用深度图像、深度图和/或类似者来针对特征增强应用的真实感和沉浸感，该特征包括例如遮挡、物理性、对象放置、重照明和大气渲染效果。

发明内容

在一般方面，设备、系统、非暂时性计算机可读介质(其上存储有可以在计算机系统上执行的计算机可执行程序代码)和/或方法可以执行过程，其中该方法包括接收对深度图的请求，基于设备深度图和下载的深度信息生成混合深度图，以及用混合深度图响应对深度图的请求。

实施方式可以包括以下特征中的一个或多个。例如，生成混合深度图可以包括从网络设备取得下载的深度信息，以及变换下载的深度信息的格式以匹配设备深度图的格式。混合深度图的生成可以包括将设备深度图渲染为几何数据，将下载的深度信息渲染为几何数据，以及将设备深度图几何数据与下载的深度信息几何数据掺混。几何数据可以是表面元素(面元)。下载的深度信息采用纬度/经度坐标系格式，设备深度图采用笛卡尔坐标系格式，生成混合深度图包括将下载的深度信息格式变换为笛卡尔坐标系格式。该方法还可以包括基于移动设备的位置触发下载的深度信息的下载。

该方法可以还包括基于移动设备距与该移动设备上的下载的深度信息相关联的位置的阈值距离来触发下载的深度信息的下载。该方法还可以包括基于下载的深度信息中的数据点与移动设备的位置的距离来过滤下载的深度信息。可以通过以下中的至少一者来生成设备深度图：使用移动设备的硬件传感器和使用在移动设备上执行的软件。设备深度图可以使用与移动设备捕获对应的图像基本上同时捕获的数据来生成，并且可以紧接在捕获图像之后在移动设备的显示器上渲染图像。下载的深度信息可以由与生成设备深度图的设备不同的设备捕获，下载的深度信息可以包括与生成设备深度图的时间相比在时间上更早捕获的数据，下载的深度信息可以包括可由生成设备深度图的设备转换为深度数据的数据，并且下载的深度信息可以包括在与设备深度图相关联的深度值范围之外的范围中的距离值。混合深度图可以包括在距离上受到与生成设备深度图的设备相关联的能力限制的第一范围中的距离值，并且混合深度图可以包括在第一范围之外的至少一个第二范围中的距离值。

附图说明

示例实施例将从下文给出的具体实施方式和附图中得到更充分的理解，其中类似的元件由类似的附图标记表示，这些附图标记仅以说明的方式给出并且因此不限制示例实施例并且其中：

图1图示了根据示例实施例的用于生成混合深度图的系统。

图2图示了根据示例实施例的用于下载深度图的系统。

图3图示了根据示例实施例的用于变换深度图格式的系统。

图4A图示了根据示例实施例的用于合并深度图的系统。

图4B图解图示了根据示例实施方式的几何形。

图5图示了根据示例实施例的用于生成混合深度图的装置。

图6图示了根据示例实施例的用于生成混合深度图的方法。

图7示出了根据至少一个示例实施例的计算机设备和移动计算机设备的示例。

应当注意，这些图旨在图示在某些示例性实施例中使用的方法、结构和/或材料的一般特征，并补充以下提供的书面描述。然而，这些附图不是按比例绘制的，并且可能不精确地反映任何给定实施例的精确结构或性能特征，并且不应被解释为定义或限制示例实施例所包含的值或特性的范围。例如，为了清楚起见，可以减少或夸大层、区域和/或结构元件的相对厚度和定位。在各种附图中使用相似或相同的附图标记旨在表示存在相似或相同的元件或特征。

具体实施方式

深度图像、深度图和/或类似者(以下称为深度图)可以从(例如，在移动设备内的)硬件传感器或通过(例如，在移动设备上执行的)软件生成。该系统的一个问题是，当前的硬件传感器往往在范围上被限制在距离包括硬件传感器在内的移动设备大约5到10米内。此外，软件深度感测可以在距离执行软件的移动设备几十米的地方获得稀疏的深度结果。然而，一些应用，例如步行导航，需要距离执行应用的移动设备几十或几百米的深度信息。

该问题的解决方案可以是使用移动设备外部的深度信息(例如，由一些其他设备生成并存储在服务器上)。单独使用外部深度信息可能不足以完全解决问题。因此，外部深度信息可以与移动设备(本地)生成的深度图一起使用。

示例实施方式可以使用移动设备外部的深度信息。例如，深度信息可以是代表现实世界中的地形、道路和建筑物的世界的三维(3D)几何数据。通过在移动设备上的用户视图上重叠远程深度信息，可以生成可以超出移动设备的硬件和/或软件能力的深度图。

图1图示了根据示例实施例的用于生成混合深度图的系统。如图1所示，系统100包括下载深度信息105块、设备深度图110块、变换深度信息格式115块、合并120块和应用125。系统100可以实现为存储在由处理器执行的存储器(例如，非暂时性存储器)中的代码段。

下载深度信息105块可以被配置为从网络存储设备(例如，服务器)下载深度信息。下载的深度信息可以与执行应用125的移动设备的位置相关联。深度信息可以是代表现实世界中的地形、道路和建筑物的世界的二维(2D)或3D几何数据，深度图、包括深度信息的图像和/或类似者。深度信息可以存储在队列中。可以基于移动设备的预测(例如，未来)位置来下载深度信息。

设备深度图110块可以被配置为获取(例如，接收、导致捕获和/或类似者)移动设备的深度数据。例如，可以使用硬件传感器(例如，在移动设备内)或使用软件(例如，在移动设备上执行)来生成移动设备的深度数据。

下载的深度信息可以是第一格式A，而移动设备的深度数据可以是第二格式B。例如，下载的深度信息可以针对2D顶视图(垂直)渲染、3D顶视图(垂直)渲染、2D侧视图(水平)渲染、3D侧视图(水平)渲染和/或类似者优化。换句话说，下载的深度信息可以主要由坐标(纬度/经度)构成或格式化。此外，与移动设备的深度数据相比，与下载的深度信息数据相关联的位置可能会错位(例如，偏离几米)。因此，下载的深度信息可以被重新格式化以与移动设备的深度数据对齐或匹配。变换深度信息格式115块可以被配置为将下载的深度信息格式A与移动设备格式B的深度数据对齐。换句话说，变换深度信息格式115块可以被配置为将所下载的深度信息的坐标(例如，纬度/经度)转换成移动设备上(例如，由应用125)使用的坐标(例如，笛卡尔坐标、水平坐标、垂直坐标和深度)。变换深度信息格式115块可以被配置为移位所转换的下载深度信息以与移动设备的位置对齐。经移位、转换的下载深度信息的格式C可以与移动设备的深度数据的格式B对齐。

对于需要精确深度信息的应用来说，仅有与移位、转换的下载深度信息相关联的数据可能不够准确。例如，应用125可以是第一人称视图应用，例如需要精确深度信息的增强现实(AR)应用。因此，移位、转换的下载深度信息可以与移动设备的深度数据合并。因此，合并120块可以被配置为将移位、转换的下载深度信息与移动设备的深度数据合并。该合并的深度数据D可以被称为混合深度数据或混合深度图，其作为应用125使用的精确深度信息输入到应用125。关于图2更详细地讨论了下载深度信息，关于图3更详细地描述变换下载的深度信息，并且关于图4更详细地描述了合并深度数据。

图2图示了根据示例实施例的用于下载深度信息的系统。如图2所示，下载深度信息105块可以包括位置205块、获取数据触发器210块、数据过滤器215块、数据队列220块和选择数据225块。下载深度信息105块可以被实现为存储在由处理器执行的存储器(例如，非暂态存储器)中的代码段。

位置205块可以被配置为确定执行应用125的移动设备的位置。在示例实施方式中，移动设备可以在露天或室外环境和/或室内环境中操作。因此，可以从移动设备的全球定位系统(GPS)、位置跟踪(例如，三角测量)应用(例如，基于提供商硬件位置)和/或类似者获取位置。位置可以不断更新。该位置可以基于锚点(例如，硬件位置、起始位置和/或类似者)。该位置可以相对于某个其他位置(例如，小区塔、建筑物、另一个移动设备和/或类似者)。

获取数据触发器210块被配置为触发从网络设备(例如，服务器)下载表示深度信息的数据。触发数据的下载可以基于位置205。例如，表示深度信息的数据可以与位置205(例如坐标)相关地存储在数据队列220中。可以基于距存储在数据队列220中的深度信息的位置205的阈值距离(例如，1m、2m、5m和/或类似者)来启动图数据的下载。换句话说，如果移动设备正在移动，使得在移动设备的(当前)位置205的阈值距离内的数据队列220中没有深度信息，则获取数据触发器210可以导致下载表示深度信息的新数据。在示例实施方式中，下载的深度信息可以被限制在距离移动设备/移动设备周围的阈值范围(例如，半径)。此外，与两个或更多个深度信息位置相关联的范围可以重叠。

数据过滤器215块可以被配置为减少与下载的和/或编入队列的深度信息相关联的数据点(例如，像素、几何形(geometry)、网格顶点和/或类似者)的数量。数据过滤器215可以基于与移动设备的距离。例如，可以过滤深度信息，使得与远离移动设备的数据相比，更多的是靠近移动设备位置的数据(例如，像素、几何形、网格顶点和/或类似者)。数据过滤器215可以在与深度信息相关联的数据存储在数据队列220中之前应用于深度信息。数据过滤器215可以在从数据队列220中取得到表示深度信息的数据之后应用于深度信息.数据过滤器215可以具有范围。例如，0到5米之间的数据可以不被过滤，5到10米之间的数据的10％被移除，10到15米之间的数据的20％被移除，15到20米之间的数据的30％被移除等等。

选择数据225块可以响应于来自应用125的对图数据的请求，从数据队列220中选择深度信息。选择数据225块可以基于位置205选择深度信息。例如，表示深度信息的数据可以与地理位置相关联地存储在数据队列220中。因此，位置205可用于在数据队列220中查找深度信息。成功的查找可以返回具有在位置205的阈值距离内的关联位置的深度信息。在示例实施方式中，如果查找不成功(例如，没有返回图数据)，则获取数据触发器210可以导致从网络设备(例如，服务器)下载所请求的深度信息。

图3图示了根据示例实施例的用于变换深度信息格式(或数据格式)的系统。如图3所示，变换深度信息格式115块可以包括位置205块、深度信息305块、格式转换310块、位置平移315块和下载深度数据320块。变换深度信息格式115块可以实现为存储在存储器(例如，非暂态存储器)中的、由处理器执行的代码段。

深度信息305块可以是要被变换成格式化为与移动设备生成的深度图相同的深度信息的深度信息(例如，数据)。深度信息305可以是(或可以等同于)选择数据225。格式转换310块可以被配置为将深度信息转换成深度信息数据，该深度信息具有例如位于纬度/经度坐标中的数据，其中深度基于相对高度(例如，如果相机位于该位置(垂直)上方)或基于相对距离(例如，如果相机位于地面上(例如，水平))，深度信息数据例如具有这样的数据：其定位为具有基于与参考位置的相对距离的深度的水平/垂直坐标。在示例实施方式中，水平/垂直(例如，笛卡尔、x、y)坐标和深度(例如，z)可以基于数据点的方向(例如，基于相对于移动设备位置的纬度/经度坐标的、数据点的纬度/经度坐标)和深度(例如高度)。

位置平移315块可以被配置为基于用户设备的位置和/或用户设备内的组件的位置来修改重新格式化的深度信息数据。例如，重新格式化的深度信息数据可以考虑位置205而不考虑移动设备与地面的距离(例如，高度)。位置平移315可以被配置为基于移动设备与地面的距离来修改重新格式化的深度信息数据(例如，x、y和/或深度)。此外，GPS系统可能不像应用125所需的那样精确。然而，例如，基于在移动设备校准期间确定的预定因素(例如，距离和/或方向)，位置平移315可以通过基于修改重新格式化的深度信息数据(例如，x、y和/或深度)来纠正这种缺乏精度。最后，移动设备内的GPS的位置可能不同于移动设备深度硬件传感器的位置(和/或软件计算深度的等效深度位置)。因此，位置平移315可以通过基于例如在制造移动设备或之前确定的预定定位因素修改重新格式化的深度信息数据(例如，x、y和/或深度)来校正由这种差异引起的这种缺乏精度。下载的深度数据320块可以包括重新格式化和平移的深度信息数据作为可由应用125使用的深度信息(例如，2D或3D几何数据、深度图、包括深度信息的图像和/或类似者)。

图4图示了根据示例实施例的用于合并深度图的系统。如图4所示，合并120块可以包括设备深度图110块、下载的深度数据320块、面元转换405块、面元掺混410块和混合深度图415块。合并120块可以被实现为存储在由处理器执行的存储器(例如，非暂态存储器)中的代码段。

面元转换405块可以被配置为将深度信息转换为面元数据。设备深度图110块和下载的深度数据320块可以各自包括深度数据，该深度数据可以是深度图(例如，几何数据、包括像素数据和与像素相关联的深度数据的图像)的元素或表示深度图的数据结构。数据结构可以包括颜色信息、纹理信息、深度信息、位置信息和方向信息。深度信息可以包括深度层，每个深度层具有指示层顺序的数字(例如，索引或z-索引)。深度信息可以是对图像中的每个像素具有多个有序深度的分层深度图像(LDI)。深度信息可以包括深度图。因此，设备深度图110块可以对应于由移动设备捕获的深度图像(或数据结构)，并且下载的深度数据320块可以对应于从网络设备(例如，服务器)下载的深度图像(或数据结构)。

面元转换405块可以被配置为将由移动设备捕获的深度图和/或从网络设备下载的深度信息转换为面元数据。例如，像素在投影到表面的表示时可以被认为是表面元素(面元)。面元可以用于在3D空间中实时(以交互式帧速率)有效率地渲染复杂的几何对象。面元可以包含一个或多个包含在原始LDI中的样本(点)。面元可以是不具有任何特定连通性的点基元。因此，面元可以用于对动态几何进行建模，因为不需要计算拓扑信息，例如邻接信息。面元的属性可以包括但不限于深度、纹理颜色、半径以及归一化的取向矢量和位置。

可以将每个场景图像组装成数据结构(例如，LDI)，该数据结构可以在场景的简化版本的表示中使用，以便通过AR应用在例如AR空间中以3D实时渲染(绘图)。例如，可以将多个像素样本或点分组成多个分区。分区可以是包括表示场景图像的多个像素样本或点的子集的平面或多边形。分区平面(例如，分区平面304)可以在3D图像空间中的位置处，点的子集在该位置处位于3D空间内。在一些实施方式中，四边形算法可以创建可用于创建分区平面的多边形近似。在一些实施方式中，迭代分区算法可以创建可用于创建分区平面的多边形近似。

在示例实施方式中，混合深度图可以包括在距离上受与生成设备深度图的设备相关联的能力限制的第一范围内的距离值，并且混合深度图可以包括第一范围之外的至少一个第二范围内的距离值。换句话说，混合深度图可以包括范围为或近似范围为移动设备(例如，移动设备中的深度传感器)的最大深度的距离值。这些深度值可以基于设备深度图。混合深度图还可以包括超出移动设备最大深度的距离值。这些深度值可以基于下载的深度信息。

图4B图解图示了根据示例实施方式的几何形。几何形可以存储为数据结构(如上所述)。例如，数据结构可以是n元组、面元和/或类似者)。在示例实施方式中，可以通过首先估计与输入中的每个像素相关联的法线取向，从输入深度生成面元。一旦存在与每个像素相关联的深度值和法线向量，就可以通过对这些像素进行聚类并生成以世界坐标表示的圆盘(如上所述)来生成面元。这些圆盘的大小可以基于共享相同深度和取向(可能还有颜色)的相邻像素的数目。这些面元可以跨AR会话的帧存储，并且随着每个新的深度帧被集成，可以基于这个新信息更新和/或合并面元。如果新的深度信息与之前的面元数据不一致(例如，场景中的某些东西移动)，则可以对原始面元进行惩罚(例如，降低置信度)、删除和/或替换为新几何形。

如图4B所示，网格420可以表示真实世界几何形(或分区平面)的一部分，其可以显示在移动设备的显示器上(例如，作为AR显示)。网格420上的是现实世界中的第一对象425-1(例如，建筑物)和第二对象425-2(例如，树)。在图示中，第二对象425-2可以比第一对象425-1更靠近用户设备。圆圈430是数据结构(例如，面元占据区)的图形表示，其可以包括关于包括第一对象425-1和第二对象425-2的网格420的一部分的信息。在示例实施方式中，可以将数据结构(或数据结构、面元和/或类似者)存储为存储的几何形。例如，面元转换405可以生成和存储表示设备深度图110和/或下载的深度数据320的几何形。

面元掺混410块可以被配置为将表示设备深度图110的几何形与表示下载的深度数据320的几何形掺混。将表示设备深度图110的几何形与表示下载的深度数据320的几何形掺混可以生成真实世界或真实世界图像的表示。掺混两个或更多图像可以包括组合每个图像的部分。例如，可以使用来自表示下载的深度数据320的几何形的数据来填充表示设备深度图110的几何形中缺失的数据(例如，深度数据、颜色数据、像素和/或类似者)。例如，可以组合具有相同位置和/或相同位置和相同深度的像素。位置可以基于与参考点(或原始位置)的距离和方向。位置可以基于坐标系(例如，笛卡尔网格、x、y网格或网格420)。

例如，包括深度图的图像中的一部分像素可以是空白的或被标记为无效。因此，在示例实施方式中，在表示设备深度图110的几何形(或渲染)中缺失或标记为无效(例如，缺失深度信息或无效深度信息)的像素(例如，具有深度)可以填充有来自表示下载的深度数据320的几何形的像素(例如，深度信息)，该下载的深度数据320具有与丢失或无效像素相同的位置和层，反之亦然。在示例实施方式中，来自表示设备深度图110的几何形和表示下载的深度数据320的几何形的像素具有相同的位置并且处于具有相同索引值的层。掺混可以包括从表示设备深度图110的几何形中选择像素并从表示下载的深度数据320的几何形中丢弃像素(或反之亦然)。

替选地，掺混可以包括从表示下载的深度数据320的几何形中选择像素并从表示设备深度图110的几何形中丢弃像素。替选地，掺混两个图像可以包括平均颜色并分配平均颜色到位置和层。用于掺混两个图像的其他技术在本发明的范围内。

在示例实施方式中，下载的数据可以合并到设备数据中。这样做的动机是下载的数据可以是静态的(例如，该数据不会在AR会话过程中发生变化)。但是，随着用户继续扫描环境，设备数据有机会发生变化。因此，将下载的数据合并到设备数据中可以随着时间的推移产生更准确的测量结果。通过将下载的数据合并到设备数据中，该技术可以为每个区域提供初始估计，但是如果用户碰巧扫描了最初被下载数据覆盖的区域，则设备可以改进初始下载的数据。当发生这种情况时，可以使用新设备数据更新和改进原始下载的数据。

此外，在掺混之前，图像能够被投影到彼此之中。例如，可以在移动设备移动的同时捕获图像。前一帧(例如，存储在缓冲区中)可以重新投影到当前帧中。此实施方式可以启用(或帮助启用)跨帧对齐对象和/或观察到的特征。混合深度图415块可以是或可以包括表示设备深度图110的几何形与表示下载的深度数据320的几何形的所得掺混。

图5图示了根据示例实施例的用于生成混合深度图的系统。如图5所示，系统500包括与移动设备515(或用户设备)通信耦合的服务器505。服务器505包括存储器510。存储器510可以被配置为存储数据结构、几何形、图像、数据图和/或类似者，每一个都包括与现实世界位置相关联的深度数据和/或深度信息。服务器505可以被配置为响应于来自移动设备515的请求传送几何形、图像、数据图和/或类似者。

移动设备515可以包括处理器520和存储器525。存储器可以包括下载的深度信息105块、设备深度图110块、变换深度信息格式115块、合并120块和应用125，如上所述。处理器520可以被配置为执行代码以实现下载的深度信息105块、设备深度图110块、变换深度信息格式115块、合并120块和/或应用125的功能。

图6图示了根据示例实施例的用于生成混合深度图的方法。如图6所示，在步骤S605中，从应用接收对深度图的请求。应用(例如，应用125)可能需要深度图来执行操作。例如，应用可以在AR设备(例如，移动设备515)上操作。该应用可以导致在AR设备的显示器上渲染包括深度信息的图像。在示例实施方式中，深度信息可以包括混合深度图。

在步骤S610中，取得设备深度图。设备深度图可以是由设备(例如，移动设备515)使用设备的传感器和/或在设备上执行的被配置为生成深度信息的软件生成的深度图。例如，设备可以是执行已请求深度图(和/或深度图像、深度数据、深度信息和/或类似者)的AR应用的AR设备。AR设备可以在露天和/或室外环境中运行。AR应用可以使AR设备触发深度图的生成作为设备深度图(例如，使用传感器和/或软件)。

在步骤S615中，下载深度信息。AR设备可以在露天和/或室外环境中操作，因此，基于AR设备的位置，图像数据(例如，图数据)、深度数据、深度信息和/或类似者可以是可用的。例如，车辆捕获的图像可以用作可以包括深度信息的图数据和/或轨道卫星捕获的图像可以用作可以包括深度信息的图数据。包括深度信息(例如，作为元数据)的图数据可以存储在与AR设备(例如，作为移动设备515)通信耦合的网络设备(例如，服务器505)处。因此，AR设备(例如，在AR设备上执行的软件)可以从网络设备请求深度信息(和/或深度图像、深度数据、深度图和/或类似者)。响应该请求，可以从网络设备下载深度信息。

在步骤S620中，变换下载的深度信息。例如，下载的深度信息(数据或深度图数据)可以主要由坐标(纬度/经度)构成或格式化。此外，与设备深度图(由AR或移动设备生成)相比，与下载的深度信息相关联的位置可能未对齐(例如，相差几米)。因此，与下载的深度信息相关联的数据可以被重新格式化以与设备深度图数据对齐。换句话说，下载的深度信息数据格式可以与设备深度图数据格式对齐。例如，下载的深度信息的坐标(例如，纬度/经度)可以转换为在AR或移动设备(例如，应用125)上使用的坐标(例如，笛卡尔坐标、水平坐标、垂直坐标和深度)。转换后的下载深度信息也可以移动(或平移)以与AR或移动设备的位置对齐。

在步骤S625中，通过将设备深度图与变换的下载深度信息合并来生成混合深度图。例如，设备深度图和变换后的下载深度信息可以被渲染为表示设备深度图和下载的深度信息的面元几何形。然后可以将表示设备深度图的几何形与表示下载的深度信息的几何形掺混。将表示设备深度图的几何形与表示下载的深度信息的几何形掺混可以生成真实世界或真实世界图像的表示(表示AR或移动设备的位置的视图)。掺混两个或更多几何形(类似于图像)可以包括组合每个几何形的部分。例如，可以使用来自表示下载的深度信息的几何形的数据来填充表示设备深度图的几何形缺失的数据(例如，深度数据、色彩数据、像素和/或类似者)(或反之亦然)。例如，可以组合具有相同位置和/或相同位置和相同深度的像素。位置可以基于与参考点(或原始位置)的距离和方向。位置可以基于坐标系(例如，x、y网格)。掺混几何形可以是或包括混合深度图。

在步骤S630中，将混合深度图传送到进行请求的应用。例如，混合深度图可以被传送到AR应用(例如，应用125)以用于在AR或移动设备的显示器上渲染图像。

图7图示了计算机设备700和移动计算机设备750的示例，其可以与本文描述的技术一起使用(例如，以实现客户端计算设备(例如，移动设备515)、服务器计算设备(例如，服务器505)，以及在移动设备515上实现的系统100)。计算设备700包括处理器702、存储器704、存储设备706、连接到存储器704和高速扩展端口710的高速接口708、以及连接到低速总线714的低速接口708和存储设备706。组件702、704、706、708、710和712中的每一个都使用各种总线互连，并且可以安装在公共主板上或以其他适当的方式安装。处理器702可以处理用于在计算设备700内执行的指令，包括存储在存储器704中或存储设备706上的指令，以在外部输入/输出设备(例如，耦合到高度接口708的显示器716)上显示用于GUI的图形信息。在其他实施方式中，可以适当使用多个处理器和/或多个总线以及多个存储器和存储器类型。此外，可以连接多个计算设备700，每个设备提供部分必要操作(例如，作为服务器组、刀片服务器组或多处理器系统)。

存储器704在计算设备700内存储信息。在一个实施方式中，存储器704是易失性存储器单元或多个单元。在另一实施方式中，存储器704是一个或多个非易失性存储器单元。存储器704也可以是另一种形式的计算机可读介质，例如磁盘或光盘。

存储设备706能够为计算设备700提供大容量存储。在一个实施方式中，存储设备706可以是或包含计算机可读介质，例如软盘设备、硬盘设备、光盘设备，或磁带设备，闪存或其他类似的固态存储设备，或设备阵列，包括存储区域网络或其他配置中的设备。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含在执行时执行一种或多种方法的指令，例如上述那些。信息载体是计算机或机器可读介质，例如存储器704、存储设备706或处理器702上的存储器。

高速控制器708管理计算设备700的带宽密集型操作，而低速控制器712管理较低带宽密集型操作。这种功能分配仅是示例。在一个实施方式中，高速控制器708耦合到存储器704、显示器716(例如，通过图形处理器或加速器)，并且耦合到可以接受各种扩展卡(未示出)的高速扩展端口710。在实施方式中，低速控制器712耦合到存储设备706和低速扩展端口714。低速扩展端口(其可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网))可以例如通过网络适配器耦合到一个或多个输入/输出设备，例如键盘、定点设备、扫描仪或网络设备，例如交换机或路由器。

如图所示，计算设备700可以以多种不同的形式实现。例如，它可以实现为标准服务器720，或在一组这样的服务器中多次实现。它也可以作为机架服务器系统724的一部分来实现。此外，它可以在个人计算机中实现，例如膝上型计算机722。或者，来自计算设备700的组件可以与移动设备中的其他组件组合(未示出)，例如设备750。每个这样的设备可以包含一个或多个计算设备700、750，并且整个系统可以由相互通信的多个计算设备700、750组成。

计算设备750包括处理器752、存储器764、诸如显示器754的输入/输出设备、通信接口766和收发器768，以及其他组件。设备750还可以配备有存储设备，例如微驱动器或其他设备，以提供额外的存储。组件750、752、764、754、766和768中的每一个都使用各种总线互连，并且多个组件可以安装在共同的主板上或以其他适当的方式安装。

处理器752可以在计算设备750内执行指令，包括存储在存储器764中的指令。处理器可以被实现为包括单独和多个模拟和数字处理器的芯片组。例如，处理器可以提供设备750的其他组件的协调，例如用户界面的控制、设备750运行的应用和设备750的无线通信。

处理器752可以通过控制接口758和耦合到显示器754的显示接口756与用户通信。显示器754可以是例如TFT LCD(薄膜晶体管液晶显示器)和LED(发光二极管)或OLED(有机发光二极管)显示器，或其他适当的显示技术。显示接口756可以包括用于驱动显示器754向用户呈现图形和其他信息的适当电路。控制接口758可以接收来自用户的命令并将它们转换以提交给处理器752。另外，可以提供与处理器752通信的外部接口762，以使设备750能够与其他设备进行近距离通信。例如，外部接口762可以在一些实施方式中提供有线通信，或者在其他实施方式中提供无线通信，并且还可以使用多个接口。

存储器764在计算设备750内存储信息。存储器764可以实现为一个或多个计算机可读介质、一个或多个易失性存储器单元、或一个或多个非易失性存储器单元。还可以提供扩展存储器774并通过扩展接口772连接到设备750，扩展接口772可以包括例如SIMM(单列直插式存储器模块)卡接口。这样的扩展存储器774可以为设备750提供额外的存储空间，或者也可以为设备750存储应用或其他信息。具体地，扩展存储器774可以包括执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器774可以作为设备750的安全模块提供，并且可以用允许安全使用设备750的指令进行编程。此外，可以经由SIMM卡提供安全应用以及附加信息，例如以不可破解的方式将识别信息放在SIMM卡上。

存储器可以包括例如闪存和/或NVRAM存储器，如下所述。在一个实施方式中，计算机程序产品有形地体现在信息载体中。计算机程序产品包含在执行时执行一种或多种方法的指令，例如上述那些。信息载体是计算机或机器可读介质，例如存储器764、扩展存储器774或处理器752上的存储器，其可以例如通过收发器768或外部接口762接收。

设备750可以通过通信接口766进行无线通信，通信接口766在必要时可以包括数字信号处理电路。通信接口766可以提供各种模式或协议下的通信，例如GSM语音呼叫、SMS、EMS或MMS消息、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。例如，这种通信可以通过射频收发器768发生。另外，可以发生短距离通信，例如使用蓝牙、Wi-Fi或其他这种收发器(未示出)。此外，GPS(全球定位系统)接收器模块770可以向设备750提供额外的导航和位置相关的无线数据，这些数据可以由在设备750上运行的应用适当使用。

设备750还可以使用音频编解码器760进行可听通信，其可以接收来自用户的语音信息并将其转换为可用的数字信息。音频编解码器760同样可以为用户产生可听的声音，例如通过扬声器，例如，在设备750的手机中。这种声音可以包括来自语音电话呼叫的声音，可以包括录制的声音(例如，语音消息、音乐文件等)并且还可以包括由在设备750上运行的应用生成的声音。

如图所示，计算设备750可以以多种不同的形式实现。例如，它可以实现为蜂窝电话780。它也可以实现为智能手机782、个人数字助理或其他类似移动设备的一部分。

可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或它们的组合中实现这里描述的系统和技术的各种实施方式。这些各种的实施方式可以包括在一个或多个计算机程序中的实施方式，这些计算机程序在包括至少一个可编程处理器的可编程系统上是可执行和/或可解释的，该可编程处理器可以是专用或通用的，耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令以及将数据和指令传输到存储系统、至少一个输入设备和至少一个输出设备。

这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言和/或以汇编/机器语言实现。如本文所用，术语“机器可读介质”、“计算机可读介质”是指任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(PLD))，其向可编程处理器提供机器指令和/或数据，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。

为了提供与用户的交互，这里描述的系统和技术可以在具有用于向用户显示信息的显示设备(LED(发光二极管)或OLED(有机LED)或LCD(液晶显示器)监视器/屏幕)、通过其用户可以向计算机提供输入的键盘和定点设备(例如鼠标或轨迹球)的计算机上实现。也可以使用其他类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈(例如，视觉反馈、听觉反馈或触觉反馈)；可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。

此处描述的系统和技术可以在包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器)或包括前端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过其与此处描述的系统和技术的实施方式进行交互)或此类后端、中间件或前端组件的任何组合的计算系统中实现。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)相互连接。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和互联网。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络进行交互。客户端和服务器的关系是通过在各自的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生的。

在一些实施方式中，图中描绘的计算设备可以包括与AR头戴装置/HMD设备790对接的传感器，以生成用于查看物理空间内插入的内容的增强环境。例如，包括在计算设备750或图中描绘的其他计算设备上的一个或多个传感器可以向AR头戴装置790提供输入，或者通常向AR空间提供输入。传感器可以包括但不限于触摸屏、加速度计、陀螺仪、压力传感器、生物传感器、温度传感器、湿度传感器和环境光传感器。计算设备750可以使用传感器来确定计算设备在AR空间中的绝对位置和/或检测到的旋转，然后可以将其用作AR空间的输入。例如，计算设备750可以作为虚拟对象并入AR空间，例如控制器、激光指示器、键盘、武器等。当计算设备/虚拟对象并入AR空间时用户对计算设备/虚拟对象的定位可以允许用户定位计算设备，以便在AR空间中以某种方式查看虚拟对象。例如，如果虚拟对象表示激光指示器，则用户可以操纵计算设备，就好像它是实际的激光指示器一样。用户可以左右、上下、以圆周方式等移动计算设备，并以与使用激光指示器类似的方式使用该设备。在一些实施方式中，用户可以使用虚拟激光指示器瞄准目标位置。

在一些实施方式中，包括在计算设备750上或连接到计算设备750的一个或多个输入设备可以用作到AR空间的输入。输入设备可以包括但不限于触摸屏、键盘、一个或多个按钮、触控板、触摸板、定点设备、鼠标、轨迹球、操纵杆、相机、麦克风、耳机或具有输入功能的耳机、游戏控制器或其他可连接的输入设备。当计算设备并入AR空间时，用户与包括在计算设备750上的输入设备交互可以导致特定动作发生在AR空间中。

在一些实施方式中，计算设备750的触摸屏可以被渲染为AR空间中的触摸板。用户可以与计算设备750的触摸屏交互。例如，在AR头戴装置790中，交互被渲染为AR空间中渲染的触摸板上的移动。渲染的动作可以控制AR空间中的虚拟对象。

在一些实施方式中，包括在计算设备750上的一个或多个输出设备可以在AR空间中向AR头戴装置790的用户提供输出和/或反馈。输出和反馈可以是视觉的、触觉的或听觉的。输出和/或反馈可以包括但不限于振动、一个或多个灯或闪光灯的打开和关闭或闪光和/或闪烁、发出警报、播放铃声、播放歌曲和播放音频文件。输出设备可以包括但不限于振动马达、振动线圈、压电设备、静电设备、发光二极管(LED)、闪光灯和扬声器。

在一些实施方式中，计算设备750可以表现为计算机生成的3D环境中的另一个对象。用户与计算设备750的交互(例如，旋转、摇动、触摸触摸屏、在触摸屏上滑动手指)可以被解释为与AR空间中的对象的交互。在AR空间中的激光指示器的示例中，计算设备750在计算机生成的3D环境中表现为虚拟激光指示器。当用户操纵计算设备750时，AR空间中的用户看到激光指示器的移动。用户在计算设备750或AR头戴装置790上接收来自与AR环境中的计算设备750的交互的反馈。用户与计算设备的交互可以被转化为与在AR环境中生成的用户界面的交互以用于可控装置。

在一些实施方式中，计算设备750可以包括触摸屏。例如，用户可以与触摸屏交互以与可控设备的用户界面交互。例如，触摸屏可以包括用户界面元素，例如可以控制可控设备的属性的滑块。

计算设备700旨在表示各种形式的数字计算机和设备，包括但不限于膝上型电脑、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备750旨在表示各种形式的移动设备，例如个人数字助理、蜂窝电话、智能手机和其他类似的计算设备。此处所示的组件、它们的连接和关系以及它们的功能仅作为示例，并不意味着限制本文档中描述和/或要求保护的发明的实施方式。

已经描述了许多实施例。然而，应当理解，可以进行各种修改而不背离本说明书的精神和范围。

此外，图中描绘的逻辑流程不需要所示的特定顺序或连续顺序来实现期望的结果。此外，可以从所描述的流程中提供其他步骤，或者可以消除步骤，并且可以将其他组件添加到所描述的系统中或从所描述的系统中移除。因此，其他实施例在所附权利要求书的范围内。

除了以上描述之外，可以向用户提供控件，其允许用户就本文描述的系统、程序或特征是否以及何时能够收集用户信息(例如，关于用户的社交网络、社交行为或活动、职业、用户偏好或用户当前位置的信息)进行选择，以及是否向用户发送来自服务器的内容或通信。此外，在存储或使用某些数据之前，可能会以一种或多种方式对其进行处理，从而删除个人身份信息。例如，用户的身份可能会被处理，使得无法确定用户的个人身份信息，或者用户的地理位置可能会在获取位置信息的情况下被泛化(例如到城市、邮政编码或州级别)，从而无法确定用户的具体位置。因此，用户可以控制收集关于用户的哪些信息、如何使用该信息以及向用户提供哪些信息。

虽然描述的实施方式的某些特征已经如本文描述的那样进行了图示，但是本领域技术人员现在将想到许多修改、替换、改变和等价物。因此，应当理解，所附权利要求书旨在覆盖落入实施方式范围内的所有此类修改和改变。应当理解，它们仅作为示例而不是限制的方式呈现，并且可以对形式和细节进行各种改变。本文所述的装置和/或方法的任何部分可以以任何组合进行组合，相互排斥的组合除外。本文描述的实施方式可以包括所描述的不同实施方式的功能、组件和/或特征的各种组合和/或子组合。

虽然示例实施例可以包括各种修改和替选形式，但其实施例在附图中以示例的方式示出并且将在本文中详细描述。然而，应当理解，不意图将示例实施例限制为所公开的特定形式，而是相反，示例实施例将覆盖落入权利要求书的范围内的所有修改、等同物和替选物。在整个附图的描述中，相同的数字指代相同的元件。

以上示例实施例中的一些被描述为流程图所示的过程或方法。尽管流程图将操作描述为顺序过程，但许多操作可以并行、同时或同时执行。此外，可以重新安排操作的顺序。这些过程可能在其操作完成时终止，但也可能具有图中未包括的附加步骤。过程可以对应于方法、功能、过程、子例程、子程序等。

上面讨论的方法(其中一些由流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或它们的任何组合来实现。当以软件、固件、中间件或微代码实现时，执行必要任务的程序代码或代码段可以存储在机器或计算机可读介质中，例如存储介质。处理器可以执行必要的任务。

在此公开的特定结构和功能细节仅仅是为了描述示例实施例的目的而具有代表性。然而，示例实施例以许多替选形式体现并且不应被解释为仅限于在此阐述的实施例。

应当理解，尽管术语第一、第二等可以在本文中用于描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于区分一个元件与另一个元件。例如，可以将第一元件称为第二元件，并且类似地，可以将第二元件称为第一元件，而不脱离示例实施例的范围。如本文所用，术语和/或包括一个或多个相关列出的项目的任何和所有组合。

应当理解，当元件被称为连接或耦合到另一个元件时，它可以直接连接或耦合到另一个元件或者可以存在中间元件。相反，当元件被称为直接连接或直接耦合到另一个元件时，不存在中间元件。用于描述元件之间关系的其他词应以类似的方式解释(例如，之间与直接之间，相邻与直接相邻等)。

本文使用的术语仅出于描述特定实施例的目的，并不旨在限制示例实施例。如本文所用，单数形式一、一个、该和所述旨在也包括复数形式，除非上下文另有明确指示。将进一步理解，术语包括、包含、包括和/或包括，当在本文中使用时，指定所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

还应注意，在一些替选实施方式中，所指出的功能/动作可能不按图中所指出的顺序发生。例如，连续显示的两个图实际上可以同时执行或有时可以以相反的顺序执行，这取决于所涉及的功能/动作。

除非另有定义，否则本文使用的所有术语(包括技术和科学术语)具有与示例实施例所属领域的普通技术人员通常理解的相同含义。将进一步理解，术语，例如在常用字典中定义的术语，应被解释为具有与其在相关技术的上下文中的含义一致的含义，并且不会以理想化或过于正式的意义来解释，除非在此明确如此定义。

以上示例实施例的部分和相应的详细描述是根据软件、或算法和对计算机存储器内的数据位的操作的符号表示来呈现的。这些描述和表示是本领域普通技术人员有效地向本领域普通技术人员传达他们工作的实质的那些。算法，正如这里使用的术语，并且通常被使用，被认为是导致期望结果的自洽步骤序列。这些步骤是需要对物理量进行物理操作的步骤。通常，尽管不是必须的，这些量采用能够被存储、传输、组合、比较和以其他方式操作的光、电或磁信号的形式。有时，主要出于常用的原因，将这些信号称为位、值、元素、符号、字符、术语、数字等已被证明是方便的。

在上述说明性实施例中，对可以被实现为程序模块或功能过程的操作(例如，以流程图的形式)的动作和符号表示的引用包括例程、程序、对象、组件、数据结构等，它们执行特定任务或实现特定抽象数据类型，并且可以在现有结构元素处使用现有硬件来描述和/或实现。这样的现有硬件可以包括一个或多个中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路、现场可编程门阵列(FPGA)计算机等。

然而，应该记住，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便标签。除非另有明确说明，或从讨论中显而易见，诸如处理或计算或算或确定或显示等的术语是指计算机系统或类似电子计算设备的操作和处理，其将在计算机系统的寄存器和存储器内表示为物理、电子量的数据操纵和变换为在计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备中类似地表示为物理量的其他数据。

还要注意，示例实施例的软件实现方面通常被编码在某种形式的非暂时性程序存储介质上或在某种类型的传输介质上实现。程序存储介质可以是磁性的(例如，软盘或硬盘驱动器)或光学的(例如，光盘只读存储器或CD ROM)，并且可以是只读的或随机存取的。类似地，传输介质可以是双绞线、同轴电缆、光纤或本领域已知的一些其他合适的传输介质。示例实施例不受任何给定实施方式的这些方面的限制。

最后，还应注意，虽然所附权利要求书列出了本文所述特征的特定组合，但本公开的范围不限于权利要求所请求保护的特定组合，而是延伸到涵盖特征或本文公开的实施例的任何组合，而不管此时是否在所附权利要求书中具体列举了该特定组合。

Claims (36)

1.一种方法，包括：

接收对深度图的请求；

基于设备深度图和下载的深度信息来生成混合深度图；以及

用所述混合深度图来响应所述对深度图的请求。

2.如权利要求1所述的方法，其中，生成所述混合深度图包括

从网络设备取得所述下载的深度信息，以及

变换所述下载的深度信息的格式以匹配所述设备深度图的格式。

3.如权利要求1所述的方法，其中，生成所述混合深度图包括：

将所述设备深度图渲染为几何数据，

将所述下载的深度信息渲染为几何数据，以及

将设备深度图几何数据与下载的深度信息几何数据掺混。

4.如权利要求3所述的方法，其中，所述几何数据是表面元素，(面元)。

5.如权利要求1所述的方法，其中，

所述下载的深度信息采用纬度/经度坐标系格式，

所述设备深度图采用笛卡尔坐标系格式，并且

生成所述混合深度图包括：将所述下载的深度信息格式变换为所述笛卡尔坐标系格式。

6.如权利要求1所述的方法，还包括：基于移动设备的位置来触发所述下载的深度信息的下载。

7.如权利要求1所述的方法，还包括：基于移动设备距与所述移动设备上的下载的深度信息相关联的位置的阈值距离，触发所述下载的深度信息的下载。

8.如权利要求1所述的方法，还包括：基于所述下载的深度信息中的数据点距移动设备的位置的距离，过滤所述下载的深度信息。

9.如权利要求1所述的方法，其中，所述设备深度图是通过以下中的至少一者生成的：使用移动设备的硬件传感器、以及使用在所述移动设备上执行的软件。

10.如权利要求1所述的方法，其中，

所述设备深度图是使用与移动设备捕获对应图像基本同时捕获的数据来生成的，以及

所述图像是紧接在所述图像的捕获之后被渲染在所述移动设备的显示器上。

11.如权利要求1所述的方法，其中，

所述下载的深度信息是由与生成所述设备深度图的设备不同的设备捕获，

所述下载的深度信息包括与生成所述设备深度图的时间相比在时间上更早捕获的数据，

所述下载的深度信息包括由生成所述设备深度图的设备能够转换为深度数据的数据，以及

所述下载的深度信息包括在与所述设备深度图相关联的深度值范围之外的范围中的距离值。

12.如权利要求1所述的方法，其中，

所述混合深度图包括在距离上受到与生成所述设备深度图的设备相关联的能力限制的第一范围中的距离值，以及

所述混合深度图包括在所述第一范围之外的至少一个第二范围中的距离值。

13.一种包括存储在其上的指令的非暂时性计算机可读存储介质，所述指令在由至少一个处理器执行时被配置为致使计算系统：

接收对深度图的请求；

基于设备深度图和下载的深度信息来生成混合深度图；以及

用所述混合深度图来响应所述对深度图的请求。

14.如权利要求13所述的非暂时性计算机可读存储介质，其中，生成所述混合深度图包括：

从网络设备取得所述下载的深度信息，以及

变换所述下载的深度信息的格式以匹配所述设备深度图的格式。

15.如权利要求13所述的非暂时性计算机可读存储介质，其中，生成所述混合深度图包括：

将所述设备深度图渲染为几何数据，

将所述下载的深度信息渲染为几何数据，以及

将设备深度图几何数据与下载的深度信息几何数据掺混。

16.如权利要求15所述的非暂时性计算机可读存储介质，其中，所述几何数据是表面元素(面元)。

17.如权利要求13所述的非暂时性计算机可读存储介质，其中，

所述下载的深度信息采用纬度/经度坐标系格式，

所述设备深度图采用笛卡尔坐标系格式，并且

生成所述混合深度图包括：将所述下载的深度信息格式变换为所述笛卡尔坐标系格式。

18.如权利要求13所述的非暂时性计算机可读存储介质，还包括：基于移动设备的位置来触发所述下载的深度信息的下载。

19.根据权利要求13所述的非暂时性计算机可读存储介质，还包括：基于移动设备距与所述移动设备上的下载的深度信息相关联的位置的阈值距离，触发所述下载的深度信息的下载。

20.如权利要求13所述的非暂时性计算机可读存储介质，还包括：基于所述下载的深度信息中的数据点距移动设备的位置的距离，过滤所述下载的深度信息。

21.如权利要求13所述的非暂时性计算机可读存储介质，其中，所述设备深度图是通过以下中的至少一者生成的：使用移动设备的硬件传感器、以及使用在所述移动设备上执行的软件。

22.如权利要求13所述的非暂时性计算机可读存储介质，其中，

所述设备深度图是使用与移动设备捕获对应图像基本同时捕获的数据来生成的，以及

所述图像是紧接在所述图像的捕获之后被渲染在所述移动设备的显示器上。

23.如权利要求13所述的非暂时性计算机可读存储介质，其中，

所述下载的深度信息是由与生成所述设备深度图的设备不同的设备捕获，

所述下载的深度信息包括与生成所述设备深度图的时间相比在时间上更早捕获的数据，

所述下载的深度信息包括由生成所述设备深度图的设备能够转换为深度数据的数据，以及

所述下载的深度信息包括在与所述设备深度图相关联的深度值范围之外的范围中的距离值。

24.如权利要求13所述的非暂时性计算机可读存储介质，其中，

所述混合深度图包括在距离上受到与生成所述设备深度图的设备相关联的能力限制的第一范围中的距离值，以及

所述混合深度图包括在所述第一范围之外的至少一个第二范围中的距离值。

25.一种装置，包括：

至少一个处理器；以及

包括计算机程序代码的至少一个存储器；

所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器致使所述装置：

接收对深度图的请求；

基于设备深度图和下载的深度信息来生成混合深度图；以及

用所述混合深度图来响应所述对深度图的请求。

26.如权利要求25所述的装置，其中，生成所述混合深度图包括：

从网络设备取得所述下载的深度信息，以及

变换所述下载的深度信息的格式以匹配所述设备深度图的格式。

27.如权利要求25所述的装置，其中，生成所述混合深度图包括：

将所述设备深度图渲染为几何数据，

将所述下载的深度信息渲染为几何数据，以及

将设备深度图几何数据与下载的深度信息几何数据掺混。

28.如权利要求27所述的装置，其中，所述几何数据是表面元素(面元)。

29.如权利要求25所述的装置，其中，

所述下载的深度信息采用纬度/经度坐标系格式，

所述设备深度图采用笛卡尔坐标系格式，并且

生成所述混合深度图包括：将所述下载的深度信息格式变换为所述笛卡尔坐标系格式。

30.如权利要求25所述的装置，还包括：基于移动设备的位置来触发所述下载的深度信息的下载。

31.如权利要求25所述的装置，还包括：基于移动设备距与所述移动设备上的下载的深度信息相关联的位置的位置的阈值距离，触发所述下载的深度信息的下载。

32.如权利要求25所述的装置，还包括：基于所述下载的深度信息中的数据点距移动设备的位置的距离，过滤所述下载的深度信息。

33.如权利要求25所述的装置，其中，所述设备深度图是通过以下中的至少一者生成的：使用移动设备的硬件传感器、以及使用在所述移动设备上执行的软件。

34.如权利要求25所述的装置，其中，

所述设备深度图是使用与移动设备捕获对应图像基本同时捕获的数据生成的，以及

所述图像是紧接在所述图像的捕获之后被渲染在所述移动设备的显示器上。

35.如权利要求25所述的装置，其中，

所述下载的深度信息是由与生成所述设备深度图的设备不同的设备捕获，

所述下载的深度信息包括与生成所述设备深度图的时间相比在时间上更早捕获的数据，

所述下载的深度信息包括由生成所述设备深度图的设备能够转换为深度数据的数据，以及

所述下载的深度信息包括在与所述设备深度图相关联的深度值范围之外的范围中的距离值。

36.如权利要求25所述的装置，其中，

所述混合深度图包括在距离上受到与生成所述设备深度图的设备相关联的能力限制的第一范围中的距离值，以及

所述混合深度图包括在所述第一范围之外的至少一个第二范围中的距离值。

Images