CN102959946B - 基于相关3d点云数据来扩充图像数据的技术 - Google Patents

Abstract

本发明的诸个实施例描述了对第一图像数据和3D点云数据进行处理以从3D点云数据中提取第一平面片段。该第一平面片段与第一图像数据中所包括的对象相关联。接收第二图像数据，该第二图像数据包括在第一图像数据中所捕捉的对象。生成与该对象有关的第二平面片段，其中第二平面片段与第二图像数据中所捕捉的对象在几何上的一致。该平面片段是至少部分基于第二图像数据、第一图像数据以及第一平面片段而生成的。本发明的诸个实施例进一步使用与该对象相关联的内容来扩充第二图像数据。该经扩充的图像可被显示，使得显示该内容以与第二平面片段在几何上的一致。

Description

基于相关3D点云数据来扩充图像数据的技术

领域

本发明的诸个实施例一般涉及移动计算设备，尤其涉及使用相关内容来扩充所捕捉的图像。

背景

移动计算设备通常包括相机、位置和取向传感器、以及越来越强大的计算资源。移动计算设备也能够建立高带宽连接以使用云计算基础设施和服务提供商。

包括在移动计算设备中的显示器可被用作为实况取景器，允许设备用户捕捉实时图像数据(诸如：图片、视频)；然而，大部分应用无法使用移动计算设备可用的计算资源来向用户提供与所显示的实况取景(即，取景器)中的主题相关的附加信息。尝试增强实况取景的少量应用被限制为显示基本信息(诸如用户和特定位置之间的距离)，或与用户周围环境有关的基本信息(诸如，实况取景内的商业类型)。

附图简述

以下描述包括对附图的描述，附图具有对本发明的诸个实施例的实施方式的示例性图示。附图应该以示例方式而非限制性方式来解读。如在此所使用的，对一个或多个“实施例”的引述应该被理解为描述了本发明的至少一个实施方式中所包括的特定特征、结构或特性。因此，本文中所出现的诸如“在一个实施例中”或“在替换实施例中”的语句描述了本发明的多种实施例和实施方式，但不是必定要指代相同的实施例的。然而，它们也不是必定要互相排斥的。

图1示出根据本发明的实施例的在移动计算设备上所显示的经扩充的3D取景的示例。

图2是根据本发明的实施例的过程的流程图。

图3示出可由本发明的诸个实施例所处理的图像数据、3D点云数据和平面分段。

图4是示出根据本发明的实施例的用于处理3D点云数据并提取平面分段的流程图。

图5是根据本发明的实施例的改进所提取平面的过程的流程图。

图6示出根据本发明的实施例的对平面分段进行群集化。

图7是根据本发明的实施例的对平面片段进行边界化的过程的流程图。

图8示出根据本发明的实施例的虚拟特征匹配和平面片段提取。

图9是可包括本发明实施例的系统的框图。

以下给出了包括附图描述的对特定细节和实施方式的描述，以及对本文所给出的发明概念的其它潜在实施例或实施方式的讨论，附图可示出下述实施例中的一些或全部。下面给出了对本发明诸个实施例的概述，并参照附图给出了更为详细的描述。

具体描述

本发明的诸个实施例涉及提供将被显示在移动计算设备上的使用相关数据扩充的图像数据的系统、设备和方法。本发明的诸个实施例描述了对第一图像数据和3D点云数据进行处理以从3D点云数据中提取第一平面片段。该第一平面片段与第一图像数据中所包括的对象相关联。接收第二图像数据(诸如，经由移动计算设备中所包括的图像传感器来捕捉)，第二图像数据包括在第一图像数据中捕捉的对象。生成与该对象有关的第二平面片段，其中第二平面片段与第二图像数据中所捕捉的对象在几何上一致。如下所述，该平面片段是至少部分基于第二图像数据、第一图像数据以及第一平面片段而生成的。

本发明的诸个实施例可进一步使用与该对象相关联的内容(诸如，文本、图像或视频、或某种3D结构)来扩充第二图像数据。经扩充的内容可被显 示在例如移动计算设备所包括的显示器上，其中该内容被显示为与第二平面片段在几何上一致。

图1示出根据本发明的实施例的在移动计算设备上显示的经扩充的3D取景的示例。移动计算设备100包括显示器110。设备100可以是任何便携计算系统，诸如膝上型计算机、平板计算机、智能电话、手持式计算设备、车载计算系统，等等。

在该示例中，显示器110包括经由设备100中所包括的图像传感器(诸如，相机)(没有示出)对用户的周围环境的实时取景120。可以理解，通过显示实时取景120，设备100可作为显示图像数据(诸如，图片、视频)以允许用户观察设备图像传感器的目标的取景器。

在该实施例中，使用平面片段130、140和150对实时取景120进行扩充。平面片段130、140和150对应于在取景120中标识的对象。在该示例中，平面片段130、140和150对应于取景120中的楼宇131、141和151。

平面片段130、140和150是通过下述的过程从与取景120有关的3D信息中提取的。每个平面片段在几何上与实时取景120中它们相对应的对象的表面平面相一致(即，在该示例中，与显示器110中所看到的楼宇131、141和151的前侧相一致)。

在该示例中，平面片段130、140和150包括与实时取景120中它们相对应的对象相关的数据。平面片段130包括与楼宇相关的图像(在该示例中，用户在楼宇131中的图片)。平面片段140包括与移动计算设备显示器上至少一个平面片段内的楼宇中运作的商业有关的文本数据。在该示例中，所述文本数据标识楼宇141中所包括的商业。平面片段150包括楼宇151内捕捉的视频数据。在每个平面片段中所包括的经扩充的内容与它们相对应的平面片段在几何上一致(即，与实时取景120中它们相对应的对象的表面平面在几何上一致)。经扩充的内容可以例如被包括在设备100的存储器储存中，或经由网络连接(诸如，无线互联网连接)从数据库获取。

图2是根据本发明的实施例的过程的流程图。在此所示的流程图提供了对多个处理动作的序列的示例。虽然被示出为特定的序列或次序，但除非有特别说明，这些动作的次序是可以被改动的。因此，所示的实现应该被 理解为仅仅是示例，并且所示的处理可以按照不同的次序来执行，并且一些动作可以并行地执行。此外，在本发明的多个实施例中，可以省略一个或多个动作，因此，并不是每个实施方式都需要所有的动作。其他处理流程也是可能的。

图像数据(可替换地在此被称为“预存储的”图像数据，以使该数据区别于由移动计算设备所捕捉的图像数据)和对应于图像数据的3D点云数据被处理以提取至少一个平面片段，步骤200。在一些实施例中，如下所述，该3D点云数据被预处理以使数据更适合后续操作(诸如，基于所捕捉的图像数据的分辨率或移动计算系统上可用的计算资源对该数据进行下采样)。

在一个实施例中，预存储的图像数据是具有至少一个对象的图片。所提取的平面片段与该对象相关联。例如，如上所述，预存储的图像数据可包括楼宇的图像，并且所提取的平面片段将是楼宇的平面。

经由移动计算设备中包括的图像传感器对该对象的图像数据进行捕捉，步骤210。可以理解，所捕捉的图像数据可包括静态图片、视频数据、或图像传感器的目标的实时显示数据(诸如，图1中的实况取景)。

生成第二平面片段，第二平面片段与所捕捉的图像中的对象有关，步骤220。该平面片段与出现在所捕捉的图像数据中的对象(诸如，图1中所述的所捕捉的实况取景中所包括的楼宇的侧面)在几何上一致。可至少部分基于所捕捉的图像数据、操作200中所述的预存储的图像数据、以及操作200中所述的至少一个平面片段来生成第二平面片段。

第二平面片段被与所捕捉的图像数据相整合(可替换地，在此称为“记录”)，步骤230。在一个实施例中，所捕捉的图像数据与移动计算设备的实况取景相关，并因此，至少一个平面片段与该实况取景相整合。

使用第二平面片段中的附加内容来扩充所捕捉的图像数据，步骤240。附加内容与由至少一个平面片段所表示的相应对象有关。可以理解，附加内容将会被显示在几何上与第二平面片段相一致的经扩充的图像中，步骤250。

图3示出可由本发明的诸个实施例处理的图像数据、3D点云数据和平面分段。3D点云350对应于楼宇305的预存储2D图像300。云350中的每 个3D点表示图像300的像素的实际3D位置。图像300中的一些像素可能不具有对应的3D点，诸如，在天空中的像素。

在一些实施例中，3D点云数据350被转换到更适于后续处理的坐标系统中。例如，如果3D点云数据350格式为“纬度、经度、海拔”，则更有益地可以将该格式转换为本地坐标系统(诸如，东方、北方、上方(ENU))，由此坐标的值可以更小(即，相比于以地心为原点的系统的坐标)。该转换也可更好地传递3D点云数据350的垂直和水平取向。

在一些实施例中，3D点云数据350是源自对大型3D点云数据集进行再采样，以使得计算更为快速。这可通过对预存储的图像或对应的3D点云进行下采样来完成。例如，对于300x500的图像，对应的3D点云数据的大小可包括多达150,000个点。通过以水平和垂直维度上以速率10进行采样，可以将3D点的数目下降到1,500个点。

为了从3D点云数据350提取平面，本发明的实施例可使用随机采样一致性(RANSAC)方法，并将预存储的图像300和3D点云数据350组合以引导RANSAC中的采样过程，而不是随意地采样3D点云数据。图4是根据本发明的实施例的用于处理3D点云数据并提取平面片段的流程图。

从图像随机选择N参考(Nref)个像素，步骤410。对每个像素，执行一系列操作(即，选择参考像素，步骤420)。这些操作将在下文描述。

在本地邻域中(即，在参考像素周围的WxW窗口)，随机地选择两个其他像素，使得三个像素是非共线的，步骤430。将IR3中指向由对应于三个像素的3D点构成的平面(P参考，Pref)的法线Nref计算为叉积，步骤440。对于此操作，可以假定，对应于邻近像素的3D点更有可能位于相同的平面上。因此，可以理解，通过施加局部约束来检测共面3D点，根据本发明的处理相比于随意地采样3D点云数据而言更快地收敛到优势面。

对于每个3D点(在此称为IR3中的点M)，确定其是否位于平面(P参考)上，并且计算其在平面上的投影误差(P参考：E＝[n参考.(M-M参考)]2，Pref：E＝[nref.(M-Mref)]2)，其中M参考(Mref)是对应于参考像素的3D点，步骤450。如果误差E小于容限阈值ε，即E＜ε，则点M被假定为位于平面(P参考)上，步骤460。

随后计算平面(P参考)的得分，即“属于”其的3D点的归一化数目：参考得分＝|{(P参考)中的M}|/N，scoreref＝|{M in(Pref)}|/N，其中N是3D点云数据中点的总数目，步骤470。

选择N参考(Nref)个所获得的得分中的最大得分，步骤480。如果其大于阈值L，即参考得分＞L(scoreref＞L)，则平面(P参考)被选择为“所提取的”平面，并且获得其法线向量和偏置的最小平方估计，步骤490。来自3D点云的“属于”所提取平面的所有点M(即，对该平面的投影误差小于容限ε)可以在后续处理中被去除。

一旦所有平面都已经被提取，并且假定超过一个平面已经被提取，则本发明的诸个实施例可进一步改进所提取的平面。图5是根据本发明的实施例的改进所提取平面的过程的流程图。

与预存储的图像有关的数据可被用于确定用于过滤不正确平面的标准，步骤500。例如，在市内场景中，楼宇通常是主要建筑。因此，为了获取粗略的3D模型，如果已知预存储的图像是市内场景，那么大多数平面将被假定为可能是垂直的或是水平的。

不符合过滤标准的平面将被去除，步骤510。因此，在该示例中，既不是垂直的也不是水平的所提取平面将被去除，并且属于这些平面的3D点将不被分配给任何平面。

每个未被去除的平面也可与类似地经处理的平面(即，具有类似法线矢量和偏置的平面)进行比较，并且仅仅保留具有最大点数目的所提取的平面，步骤520。

如果没有剩余的平面需要处理，步骤525，则处理未被分配给任何平面的剩余3D点，步骤530。对于每个未分配的3D点，计算其对于每个经改进的所提取平面的投影误差，并且选择最小投影误差和对应的平面(P最小，Pmin)，步骤540。容限阈值可从ε增加到ε’＝因子xε，(ε’＝factor xε)。如果最小投影误差小于ε’，步骤545，则3D点被分配给对应的平面(P最小)，步骤550；否则将其舍弃，步骤555。例如，3D点云数据350的最终所提取的平面将是平面390、391和392。

因此，由图5描述的示例过程的结果可以是将每个3D点及其对应的像素映射至平面的3D点云数据的掩码。该掩码被用于创建所捕捉的图像数据的更为紧凑且更高层的表示。在图3中，楼宇305的右侧墙壁的大多数3D点/像素是相同的颜色(诸如，绿色，虽然在附图中没有示出色彩)。代替了将该数据存储为3D点/像素和对应的平面索引的对，本发明的诸个实施例可指定由右侧墙壁上的绿色编码像素所占据的全部区域(例如，例如，确定边界多边形)。进一步地，互相远离的并且位于同一平面内的区域可以被群集化。与楼宇305有关的更高层信息可被获取，以适当地对平面进行群集化。例如，相同色彩的像素可被群集化至与图6所示的楼宇305的右侧墙壁的两个不同部分相对应的分离群集中。

在该实施例中，3D点云数据350包括与楼宇350(如图3所示)的右侧墙壁相对应的群集600和610。高层信息可被用于确定是否在该侧壁上存在广告板。本发明的诸个实施例可因此根据墙壁的每个片段来对平面片段进行群集化——即，群集600生长为平面片段620(对应于墙壁)，群集610生长为平面片段630(对应于广告板)。

对于楼宇的情况，所期望的最终效果可以是一组楼宇墙壁边界矩形。如果3D点云数据和预存储的图像与市内区域有关，可以假定属于垂直平面的大部分3D点对应于楼宇的墙壁。因此，通过矩形来对垂直平面片段进行近似的目标得到证明。

在本发明的一个实施例中，在图像和3D点云数据中的信息被用于通过使用3D点云中生长的区域来对平面进行群集化。两个3D点之间的相似度距离是对应像素之间的像素距离。处理操作可对每个平面迭代，提取n个种子，并围绕这些种子而生长平面片段。

图7是根据本发明的实施例的对平面片段进行边界化的过程的流程图。对与上述的市内环境有关的群集中的片段执行过程700。作为示例，继续将本发明的诸个实施例用于已知的市内环境，选择垂直片段，步骤710。对于每个垂直片段，找到具有最大和最小垂直坐标的两个极端3D点，步骤720。因此，获取了边界框的上水平边和下水平边，并且可基于这些点来确定平面内方向，步骤730。也找到片段内的具有水平方向上的最大和最小坐标的 另外两个极端3D点，步骤740。使用这些极端点和平面内方向，可以确定该片段的边界框的两个垂直边，步骤750。

在一些实施例中，可以将对象的多个2D图像或多个取景角度的场景与来自不同取景角度的对应3D点云数据集合一起预存储。这些点云数据集合可以重叠。在这些实施例中，所有点云数据可被合并以提高所提取的平面片段的精度。为了标识重叠区域，点云数据的集合可被限制在局部邻域内，并且可以合并相关的点云信息。

可以理解，可以通过不同的过程以不同的次序执行多个任务：提取平面、组合点云数据、噪声移除。在一个实施例中，每个点云数据集合被建模为实际3D点的噪声测量集合(噪声源可以包括测量点的不确定性，其取向、传感器噪声，等等)。可随后获得噪声统计的估计以及重叠区域中的原始3D点。这些噪声统计可被用于获取所有点云数据集合的3D点的更好估计，以提取平面。可以理解，在重叠区域中的3D点具有最精确的估计，并因此这些点在估计其所属的平面时被给予优先级(例如，加权最小平方可被用于平面参数的估计，对这些点给予更大的权重)。

在另一个实施例中，对每个3D点云数据集合分离地进行平面提取。可以基于重叠平面的法线矢量相似度以及其局部接近度来标识这些重叠平面。对于每个重叠平面集合，属于其的所有3D点云数据可被收集以基于该更大的点集合做出对平面的新的(即，更为精确的)估计。

在一个实施例中，接收到与3D点云数据相关联的置信度/可靠性信息。该额外信息可与3D点云数据一起用于推断3D点测量的可靠性。例如，通过允许具有更高可靠性的3D点在平面估计中起到更大作用，可对上述的平面提取算法进行调整。在RANSAC中的采样方法可被偏置以从更可靠的3D点中进行更多采样。进一步的，加权最小平方(而不仅仅是最小平方)可被用于估计平面参数。权重可以与3D点的可靠性得分成比例或作为其的递增函数。

在一个实施例中，色彩信息可被用于从3D点云数据中更为精确地提取平面。例如，色彩信息和像素距离可被组合以形成上述的区域生长过程中的相似度距离。在该实施例中，位于同一个平面内的、在像素距离上是靠 近的并且具有相似的色彩(即，对应于预存储的图像中的相同色彩像素)的3D点将倾向于被分配给相同的平面片段。

可以理解，从3D点云数据中所提取的平面片段形成了预存储图像数据的粗略3D模型。该数据可被用于从所捕捉的图像数据中提取平面片段。因此，3D模型中的平面片段可与所捕捉的图像数据以及预存储的图像数据一起被处理(即，整合)，由此使得能将所捕捉的图像数据与粗略3D模型一起记录。

粗略3D模型的记录允许多个应用投射相应平面片段内的数据(即，静态图像和视频)。换句话说，用户可使用移动计算设备来获取图像，并在移动计算设备或台式机上将该图像记录在模型的正确视角内。与视频图像数据相似的，所记录的实况取景可以实时地通过添加在正确视角(例如如图1所示)内的附加信息(诸如，文本、图像或视频、或一些3D结构)来扩充。

在一个实施例中，移动计算设备使用系统组件和应用(诸如，全球定位系统(GPS)传感器、蜂窝或WiFi网络连接、取向传感器)来缩小设备的位置和其图像传感器的取景角度。在粗略的3D模型侧，位置和取向信息以及相关的近似位置(此处的取景接近于近似取景)的预存储的图像数据(即，参考模型)可被用于从这些图像中提取视觉特征。因此，上述的处理生成了具有对应视觉特征的平面片段，即记录过程所用的参考模型。

在一个实施例中，视觉特征从移动设备的图像或视频帧中提取，并与参考模型(即，预存储的图像)中的视觉特征相匹配。图8示出这类匹配。

从所捕捉的图像890的对象800的预存储图像830的点对应820中估计多个全息图810(在该示例中，对象800是墙壁上的绘画)。在该示例中，全息图转换的假定是合法的，因为平面结构被假定为在对象800的场景中。接下来，每个全息图矩阵被解压缩为图像传感器旋转和平移参数。这些单独参数可被组合以获得旋转和平移参数的一个噪声更少的版本，以产生匹配平面对象830。

因此，可标识对象800以及由图像传感器对其捕捉所采用的视角。相关的图像数据可被显示在与对象相对应的平面片段850内(诸如，如上所述 的图标、文本数据、图像数据)。

图9是可包括本发明实施例的系统的框图。系统900可包括预处理模块910，用于执行涉及预存储的图像和3D点云数据的操作以如上所述地生成平面片段。系统900可进一步包括图像传感器920，以如上所述地捕捉图像数据。

平面提取模块930可如上所述地处理预存储的图像、所捕捉的图像、以及它们的相关平面片段以提取与对象有关的平面。记录模块940可如上所述地使用所提取的平面片段中的关联内容来扩充所捕捉的图像数据。经扩充的图像数据可被显示在显示器950上。

在该示例中，经由处理器960执行模块910、930和940。如上所述的系统900的所有组件可经由总线970被操作地耦合。可以理解，在图9中所述的多个模块可均被包括在移动计算设备中，或单独地分散在不同位置(即，图9的任意或所有模块可被包括在与移动计算设备交互的服务器中，以提供“后端处理”)。进一步的，可以理解，与所述模块相关的操作仅仅是示例性的实施例，上述的任意操作可经由操作地耦合到一起的多个设备来执行。

在此被称为过程、服务器或工具的多个组件可以是用于执行所述功能的装置。在此所述的每个组件包括软件或硬件，或其组合。每个和所有组件可被实现为软件模块、硬件模块、特定功能硬件(诸如，应用特定硬件、ASIC、DSP，等等)、嵌入式控制器、硬线电路、硬件逻辑，等等。软件内容(诸如，数据、指令、配置)可经由包括非暂时性有形计算机或机器可读存储介质的工业制品来提供，其提供的内容表示可被执行的指令。该内容可使得计算机执行在此所述的各种功能/操作。计算机可读存储介质包括提供任意的机制以提供(即，存储和/或传输)计算机(诸如，计算设备、电子系统，等等)可访问形式的信息，诸如可记录/不可记录介质(诸如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备，等等)。内容可以是可直接执行(“对象”或“可执行”形式)的、源代码或不同代码(“差值(delta)”或“补丁(patch)”编码)。计算机可读存储介质也可包括可从其下载内容的储存器或数据库。 计算机可读介质也可包括在销售或派送时其上存储有内容的设备或产品。因此，派送具有所存储内容的设备、或者在通信介质上提供内容以供下载也被理解为提供了在此所述的这些内容的工业制品。

Claims (17)

1.一种用于扩充图像数据的设备，包括：

用于处理第一图像数据和第一图像数据中包括的对象的3D点云数据以从所述3D点云数据中提取第一图像数据中包括的对象的3D数据掩码的装置，其中所述3D数据掩码包括比第一图像数据中包括的对象的所述3D点云数据少的数据；

用于至少部分基于第二图像数据、第一图像数据以及3D数据掩码来从对象的实时取景生成与第二图像数据中所捕捉的对象相关的平面片段的装置，所述第二图像数据是经由移动计算设备中所包括的图像传感器所捕捉的，所述第二图像数据包含所述对象，所述平面片段与出现在所述第二图像数据中的对象在几何上一致且在对象内，并且包括多个群集，包括与对象对应的第一群集以及与共面的第二对象对应的第二群集；以及

用于使用与所述对象相关联的内容来扩充对象的实时取景的装置，所述扩充与所述平面片段在几何上一致并且在所述第一群集内，所述内容包括静态图像或视频图像数据。

2.如权利要求1所述的设备，其特征在于，所述用于处理第一图像数据和3D点云数据以提取3D数据掩码的装置包括：用于基于与所述第一图像数据相关联的元数据来确定所提取的3D数据掩码的形状和取向的装置，所述元数据具有所述第一图像数据的地理信息或与所述第一图像数据中所捕捉的对象相关的数据。

3.如权利要求1所述的设备，其特征在于，生成与第二图像数据中所捕捉的对象相关的平面片段还包括：基于所述第一图像数据中所捕捉的对象的色彩数据，将所述平面片段与所述第二图像数据中所捕捉的对象相匹配。

4.如权利要求1所述的设备，其特征在于，用于处理3D点云数据以提取3D数据掩码的装置还包括：用于对3D点云数据进行下采样的装置。

5.如权利要求1所述的设备，其特征在于，处理第一图像数据和3D点云数据以从所述3D点云数据中提取3D数据掩码进一步是基于与3D点云数据的数据点相关联的可靠性数据。

6.如权利要求1所述的设备，其特征在于，所述3D点云数据包括：

从第一取景点所捕捉的第一3D点云数据集合；以及

从第二取景点所捕捉的第二3D点云数据集合，并且用于处理第一图像数据和3D点云数据以从所述3D点云数据中提取3D数据掩码的装置还包括：

用于处理所述第一3D点云数据集合和所述第一图像数据以提取第一初始平面片段的装置；

用于处理所述第二3D点云数据集合和所述第一图像数据以提取第二初始平面片段的装置；以及

用于组合第一和第二初始平面片段以形成3D数据掩码的装置。

7.一种用于扩充图像数据的系统，包括：

至少一个处理器；

显示器；

由处理器执行的软件，以：

处理第一图像数据和第一图像数据中包括的对象的3D点云数据以从所述3D点云数据中提取第一图像数据中包括的对象的3D数据掩码，其中所述3D数据掩码包括比第一图像数据中包括的对象的所述3D点云数据少的数据，

至少部分基于第二图像数据、第一图像数据以及3D数据掩码，生成与第二图像数据中所捕捉的对象有关的平面片段，所述平面片段与出现在所述第二图像数据中的对象在几何上一致且在对象内，并且包括多个群集，包括与对象对应的第一群集以及与共面的第二对象对应的第二群集，

使用与所述对象相关联的内容来扩充对象的实时取景，所述扩充与所述平面片段在几何上一致并且在所述第一群集内，所述内容包括静态图像或视频图像数据，

将具有与所述对象相关联的经扩充内容的对象的实时取景显示在所述显示器上；以及

图像传感器，用于捕捉对象的实时取景，包括具有所述对象的第二图像数据。

8.如权利要求7所述的系统，其特征在于，处理第一图像数据和3D点云数据以提取3D数据掩码包括：基于与所述第一图像数据相关联的元数据来确定3D数据掩码的形状和取向，所述元数据包括所述第一图像数据的地理信息或与所述第一图像数据中所捕捉的对象相关的数据。

9.如权利要求7所述的系统，其特征在于，生成平面片段还包括：基于所述第一图像数据中所捕捉的对象的色彩数据，将所述平面片段与所述第二图像数据中所捕捉的对象相匹配。

10.如权利要求7所述的系统，其特征在于，处理3D点云数据以提取3D数据掩码还包括：对所述3D点云数据进行下采样。

11.如权利要求7所述的系统，其特征在于，处理第一图像数据和3D点云数据以从所述3D点云数据中提取3D数据掩码进一步是基于与3D点云数据的数据点相关联的可靠性数据。

12.如权利要求7所述的系统，其特征在于，所述3D点云数据包括：

从第一取景点所捕捉的第一3D点云数据集合；以及

从第二取景点所捕捉的第二3D点云数据集合，并且处理第一图像数据和3D点云数据以从所述3D点云数据中提取3D数据掩码还包括：

处理所述第一3D点云数据集合和所述第一图像数据以提取第一初始平面片段；

处理所述第二3D点云数据集合和所述第一图像数据以提取第二初始平面片段；以及

组合第一和第二初始平面片段以形成所述3D数据掩码。

13.一种用于扩充图像数据的方法，包括：

处理第一图像数据和第一图像数据中包括的对象的3D点云数据以从所述3D点云数据中提取第一图像数据中包括的对象的3D数据掩码，其中所述3D数据掩码包括比第一图像数据中包括的对象的所述3D点云数据少的数据；

接收经由移动计算设备中所包括的图像传感器所捕捉的来自对象的实时取景的第二图像数据，所述第二图像数据包括所述对象；

至少部分基于第二图像数据、第一图像数据以3D数据掩码，生成与第二图像数据中所捕捉的对象有关的平面片段，所述平面片段与出现在所述第二图像数据中的对象在几何上一致且在对象内，并且包括多个群集，包括与对象对应的第一群集以及与共面的第二对象对应的第二群集；以及

使用与所述对象相关联的内容来扩充对象的实时取景，所述扩充与所述平面片段在几何上一致并在所述第一群集内，所述内容包括静态图像或视频图像数据。

14.如权利要求13所述的方法，其特征在于，处理第一图像数据和3D点云数据以提取3D数据掩码包括：基于与所述第一图像数据相关联的元数据来确定所提取的3D数据掩码的形状和取向，所述元数据包括所述第一图像数据的地理信息或与所述第一图像数据中所捕捉的对象相关的数据。

15.如权利要求13所述的方法，其特征在于，生成与第二图像数据中所捕捉的对象相关的平面片段还包括：基于所述第一图像数据中所捕捉的对象的色彩数据，将所述平面片段与所述第二图像数据中所捕捉的对象相匹配。

16.如权利要求13所述的方法，其特征在于，处理第一图像数据和3D点云数据以从所述3D点云数据中提取3D数据掩码进一步是基于与3D点云数据的数据点相关联的可靠性数据。

17.如权利要求13所述的方法，其特征在于，所述3D点云数据包括：

从第一取景点所捕捉的第一3D点云数据集合；以及

从第二取景点所捕捉的第二3D点云数据集合，并且处理第一图像数据和3D点云数据以从所述3D点云数据中提取3D数据掩码还包括：

处理所述第一3D点云数据集合和所述第一图像数据以提取第一初始平面片段；

处理所述第二3D点云数据集合和所述第一图像数据以提取第二初始平面片段；

组合第一和第二初始平面片段以形成3D数据掩码。