CN102446343B - 稀疏数据的重建 - Google Patents

Abstract

本发明涉及稀疏数据的重建。使用稠密引导图像或信号来通知从目标点的稀疏集合重建目标图像。假定出该引导图像和该目标点集合是从同一真实世界主体或场景导出的。首先检测该引导图像中的潜在的不连续性(例如，裂缝、边缘、缝隙等等)。潜在的不连续性可以是Voronoi区域的边界，Voronoi区域可能是使用数据空间(例如，色彩空间)中的距离来计算的。使用不连续性和点的稀疏集合来重建目标图像。具体而言，目标图像的像素可以平滑地内插在邻近目标点之间，但在邻近目标点由不连续性隔开的位置处，内插可以(例如，通过调整或影响松弛)在不连续性处突然跳变。可以使用各目标点来选择在重建期间要使用的不连续性的仅一个子集。

Description

稀疏数据的重建

技术领域

本发明涉及图像重建，尤其涉及稀疏数据的重建。

背景技术

在计算机图形领域中，给定二维的相对稀疏的点集，可能期望重建稠密目标图像。例如，各点可能具有深度值或某种其他类型的标量数据。为了重建图像，可以基于各稀疏点的值来内插各稀疏点之间的空间深度(或其他类型的数据)。通常，对于两个邻近点，这两个点之间的线将具有平滑的深度分级。例如，如果点P具有深度0且点Q具有深度10，则在P和Q之间的线上的四个均匀隔开的点处，深度可以是2、4、6和8。一般地，在各点之间所内插的值平滑地变化。

尽管已经使用不同的内插策略，但先前不可能使用稠密图像或信号来通知内插过程。下面讨论与通过考虑稠密图像或引导信号的特征来重建图像有关的技术。

发明内容

包括下列概述只是为了介绍下面在详细描述中讨论的一些概念。本概述不是详尽的，且不旨在描绘所要求保护的本主题的范围，本主题的范围由在结尾呈现的权利要求陈述。

使用稠密引导图像或信号来通知从目标点的稀疏集合重建目标图像。假定该引导图像和该组目标点是从同一真实世界主体或场景导出的。首先检测该引导图像中的潜在的不连续性(例如，裂缝、边缘、缝隙等等)。潜在的不连续性可以是Voronoi区域的边界，可能是使用数据空间(例如，色彩空间)中的距离来计算的。使用不连续性和点的稀疏集合来重建目标图像。具体地，目标图像的像素可以平滑地内插在邻近目标点之间，但在邻近目标点由不连续性隔开的位置处，内插可以例如通过调整或影响松弛、或具体地通过消除平滑度惩罚来在不连续性处突然跳变。可以使用各目标点来选择在重建期间要使用的不连续性的仅一个子集。

下面将参考结合附图考虑的下列详细描述解释许多伴随特征。

附图说明

在考虑到附图而阅读下列详细描述之后，将更好地理解本描述，附图中，使用相同的参考数字标明所附描述中相同的部分。

图1使用示例数据示出一般过程。

图2示出用于找出候选不连续性的过程。

图3示出计算得到的区域和种子的示例。

图4示出用于过滤候选不连续性的过程。

图5示出用于计算种子或目标点的平滑内插的过程。

图6示出示例引导图像和示例目标像素集。

图7示出示例候选不连续性的集合和不连续性的所选子集。

图8示出最终重建的目标图像。

图9示出可在其上实现一个或多个实施方式的计算机。

具体实施方式

下面讨论的实施方式涉及使用稠密引导图像来通知从数据点的对应稀疏集合来重建图像。该讨论从解释一般实施方式的步骤开始。然后，将描述用于实现该一般实施方式的步骤的变体和细节。然后，将讨论用实际数据色彩的示例。

图1使用示例数据示出一般过程。将假定引导图像100和目标点集合102的形式的输入数据。下面进一步讨论的线103和线103A表示稍后标识的潜在不连续性且不是引导图像100的一部分。为了帮助理解，将在下一段落描述示例输入数据源。然而，应理解，引导图像100和目标点102可以具有任何源。此外，在引导图像100相对于目标点而言稠密时，在此描述的技术是有帮助的；然而，本发明技术的应用不要求这一点。在此描述的技术不依赖于输入数据的源或语义内容。此外，输入数据甚至不必基于或源自实际摄影数据或所捕捉的数据。例如，输入数据可以完全地或部分地是合成的、人工渲染的等等。

关于该示例输入源，从场景的二维照片的集合(即，该场景的不同照片)对该场景进行三维重建近来已经取得进展。可以以反映拍摄各照片的着眼点(vantage point)的方式来以三维自动排列各照片(例如，三维的一组平面矩形，每一矩形构成相应的照片)。在这样的情况中，这样的照片上的点或从这样的照片投影的点(三维空间中的点)可以形成稀疏数据点集，每一稀疏数据点具有深度和位置。各点可以对应于该场景的在各照片中描绘的物理特征(例如，物体、物体边缘、阴影边缘、物体的特征点等等)。这样的点的集合可以充当目标点102。此外，这样的照片中的一个或其合成组合可以充当引导图像100。简而言之，仅作为示例，引导图像100可以是真实世界物体或场景的所捕捉的图像数据，且数据点100中的一些可以对应于该真实世界物体或场景的一些特征。给定这一数据，以反映或考虑引导图像100以及尤其是在其中检测到的可能的不连续性的方式从数据点100重建图像(例如深度图)是合乎需要的。

不管起源如何，相对于目标点102而言，引导图像100可以是稠密的。目标点102可以被认为是要重建的最终图像中的初始点。引导图像100可以包括一组二维引导点104，例如彩色图像或深度图中的像素或点。在以下意义上，认为目标点102和作为输入给定的引导图像100是匹配的：即使构成各数据集的实际值可以在类型、本质且甚至是通道数量或维度方面不同，这两个空间的图像位置也对应。换句话说，目标点102的空间可以通过各种变换(平移、旋转、变形)映射到引导图像100的空间，而这两个输入的实际图像数据可以在类型(例如，色彩对深度)、维度等等方面不同。给定目标点106A，引导图像100中可以存在大致对应于主题场景中的相同的真实世界点或与目标点106A相同的真实世界点的像素或点104A。因而，诸如引导图像100的标量值(例如，深度、色彩、梯度等等的突变等不连续性(其可能表示物理边缘或折皱)可以指示要从目标点102重建的目标图像中的相应不连续性。接下来讨论对这样的不连续性的发现和使用。

给定引导图像100和目标点102形式的输入数据，在步骤108，在引导图像100中标识由线103表示的潜在的或候选的不连续性。可以使用各种形式的分析中的任何分析来标识潜在的不连续性，包括由用户手动标识。例如，可以通过分析引导点104的值上的变化率、通过标识具有高于上限阈值或低于下限阈值的值的引导点104等等来找出不连续性。在下面参考图2讨论的实施方式中，候选不连续性是基于在各引导点104和各引导点104之间的引导图像空间中的距离计算的各区域边缘。举例来说，在色彩空间中，可以使用色彩距离。

给定由线103和103A表示的候选不连续性，步骤110可以涉及使用相对稀疏的目标点102来选择在步骤108标识的不连续性的子集。目标点102可以帮助以各种方式标识不连续性。在一种实施方式中，在两个主要的目标点(以及邻近的目标点)处的目标信号的值之间的关系，提供了用于决定是否也应将引导信号中的不连续性解释成目标信号中的不连续性的基础。并非每一引导信号不连续性都暗示目标不连续性，因此使用目标信号值来执行这一验证步骤。在另一实施方式中，跨候选不连续性曲线来计算稠密引导图像的信号值的差(例如在该曲线的左侧和右侧的邻近像素之间的差)的测量值。例如，可以沿着该曲线对在每一曲线点处测量的信号值的平方差进行积分。然后，当且仅当这一积分得到的测量值高于一阈值时，才选择候选不连续性曲线。另一方法是简单地测量各目标点之间的值的差，且将该差用作选择的基础。

为了进一步解释在引导信号(引导图像)不连续性和所重建的连续性或目标不连续性之间的关系，在标识不连续性时认为该关系是保守的，它可以帮助促成平滑内插，除非在数据中存在“真”不连续性的强有力证据。引导信号中的不连续性自身可能不是目标不连续性的足够强有力的证据。相反，“真”不连续性可以意指(1)引导信号中指示存在不连续性(基于在此描述的Voronoi边界计算，它在基于引导信号距离来计算时往往使自身与引导信号不连续性相对齐，或其他方法，)，以及(2)靠近这一潜在的不连续性的目标点的值证实这一不连续性在目标空间中的存在(基于在此描述的板(slab)测试，或以另外方式)。在实践中，引导信号不连续性通常不指示目标不连续性。例如，完全平坦的墙可以仅仅具有来自所绘条纹的色彩不连续性，然而很清楚，墙的平坦表面不具有几何不连续性。

在下面参考图讨论4的实施方式中，分析通过邻域(或其种子)计算的平面或板以便选择要使用的候选不连续性的子集。步骤110的输出是候选不连续性的子集，该候选不连续性之一由线103A表示。

在步骤112，使用所选择的不连续性来重建稠密目标信号或图像114。在一种实施方式中，由在步骤110选择的不连续性(例如由线103A表示的不连续性)来通知在目标点106之间的平滑内插。注意，在示例图像114中，在两个点106之间生成的数据示出任何类型的无约束内插可以产生的值(在这里是强度的形式)的渐变。应进一步注意，在使用不连续性(线103A)来通知重建的情况下，值(例如，强度)的突变发生在点106A和各点106中的任一个之间。即是说，可以对包含点106区域进行内插以便具有平滑地改变的值(例如，深度、色彩等等)，而包含点106A的区域在去往点106的方向上可以具有在由线103A表示的不连续性处或在其附近突变的值。

图2示出用于找出候选不连续性的过程。一般地，该过程涉及计算目标点102的Voronoi区域，且各区域的边缘被用作候选不连续性。注意，Voronoi区域是包含所有“最靠近”给定点的点的区域(可以以不同于几何距离的方式来测量靠近度)。最初，在步骤128，在引导点104当中选择各种子点。基于种子点与目标点106(包括点106A)之一的对应关系来选择每一种子点。即是说，种子点是对应的目标点106的引导空间等效。例如，在对应于目标点106A的引导点104A处选择种子点。在另一实施方式中，根据需要选择各种子点，而非同时选择所有种子点。

在步骤130，计算每一种子点和在其邻近的引导点104之间的引导信号空间中的距离。相对于高分辨率信号中的所积分的改变来测量该距离。每一种子因而确定像素或引导点的区域，该区域被称为广义Voronoi区域。每一广义Voronoi区域包含最接近该区域的种子的像素或引导点。这些区域可以是被认为是“广义的”，这是因为距离是通过引导信号中的所积分的改变(引导点的值的改变)而不是简单的空间距离来确定的。尽管如此，可以使用带有不同有效性的任何形式的距离计算。为便于计算，在步骤132，通过向每一引导点分配指向它最接近的种子的指针来保持各区域。基于各区域的成员，在步骤134，计算并存储各区域的边界。例如，可以将边界点标识为带有属于另一区域的邻近点的任何点，且可以容易地从这些边界点导出边界。

关于用于找出广义Voronoi区域的距离，在一种实施方式中，可以通过首先基于红、绿和蓝通道(或各数据值构成的任何通道)中的差来定义在邻近像素之间的距离(使用平方差的总和)来获得公式。给定各邻居之间的距离，可以通过沿着在任何两个点之间的最短路径对距离进行积分来得到在这两个点之间的距离。在这里，最短路径是根据所积分的色差而非空间距离的。对于附加的信息，参见在“Euclidean distance mapping(欧几里得距离映射)”(Danielsson，Computer Graphics and Image Processing(计算机图形和图像处理)(CGIP)1980)中讨论的多通道方法。也参见“Distance Transformations：Fast Algorithms andApplications to Medical Image Processing(距离变换：快速算法和在医学图像处理中的应用)”(Olivier Cuisenaire，Ph.D.Thesis，1999)。

为了进一步解释，对于引导图像中的任何路径，可以定义不仅基于图像中的路径的长度而且也基于沿着该路径的图像的值的距离度量。例如，可以通过在沿着该路径的各邻近像素之间的距离的总和来定义或者近似该路径的传统欧几里得长度。然而，相反，更加有效的是将“引导信号距离”定义为沿着路径的各邻近像素之间的引导像素值的绝对差的总和。因此，引导图像的低变化区域中的路径将具有小的距离测量值，而跨不连续性或高变化细节的路径将具有大的距离测量值。“传统的”Voronoi区域被定义为最靠近该区域的种子的像素的子集，由此由在每一像素和种子之间的欧几里得路径的最小长度来测量靠近度。类似地但使用更一般的路径距离来定义“广义”Voronoi区域。具体而言，路径距离可以基于所积分的改变。这一“引导信号距离”的确切公式可以改变。例如，它可以基于平方差而不是绝对差。它也可以涉及对引导图像进行预平滑以便去除不需要的噪声。

图3示出计算得到的区域150和种子152的示例。未示出引导图像100的在每一区域150中所包含的各单独的引导点。候选不连续性是区域150的边界154。尽管已计算，给定边界154形式的候选不连续性线，使用接下来描述的过程来确定边界154的子集。在此所使用的“不连续性”、“不连续性线”、“不连续性曲线”等等是指任何形状或形式(不规则弯曲的、稍微直的等等)的线，这可以表示图像中的细边缘、裂缝、折皱或其他分界特征。

图4示出用于过滤候选不连续性的过程。主循环170可以对区域150的各边界154进行迭代。即是说，对于在一对区域之间的每一边界，使用步骤172到步骤180来确定是否选择该边界以供在重建期间使用。在步骤172，两个当前区域的种子被认为是点A和点B。步骤174是试探法，该试探法在正在分析的当前边界(潜在的不连续性)的任一侧上将两个最小二乘平面拟合到邻近A和B的邻居种子处的值。例如，参见图3中的种子A和种子B，如果考虑边界154A(图4)，则可以使用邻居A1、邻居A2、邻居B1和邻居B2。具体地，在步骤176，基于邻近种子的值与A和B的值的接近性，将邻近种子与A或B关联起来。在步骤178，将包含这些点的平面(例如由A、A1、B1定义的平面)扩展为板，板由相关的邻近种子来限定。薄板可以指示各邻居就平面近似达成的一致，而厚板可以指示大的误差和未达成一致。在步骤180，分析各板以便确定它们是否在当前边界处重叠。缺乏重叠指示相应的边界被认为是几何不连续性(例如，裂缝)。即是说，指示了不连续性，因为边界与引导信号不连续性一致且因为任一侧上的种子值确认当在对应于种子A和种子B的目标点106之间进行内插时不应被平滑的缝隙或其他不连续性。

为了详细说明边界(潜在的不连续性)的选择，所提到的板是在潜在的不连续性的任一侧上的邻域(例如，Voronoi区域的集合)中经重建的值的界限或近似。各板或有界平面基于在各目标点处的值。具体地，给定潜在的不连续性，在潜在的不连续性的一侧，构建包含在给定的潜在不连续性的该侧上的所有目标点值的两个平行平面(板)(按某种厚度隔开)。对该潜在的不连续性的另一侧执行相同的操作。然后，当在该潜在的不连续性上的每一点处评估各板时，检查各板以便查看它们是否相交。如果两个板在沿着潜在的不连续性的足够数量的点处不相交(不重叠)，则该边界被解释成实际的不连续性，即是说，在松弛期间不内插跨它的值。如果各板在大多数点处重叠，则不认为该边界是不连续性。总之，可以使用板来分析不连续性的邻域。另外，是否将边界解释成实际的不连续性可以是基于靠近该边界的区域的目标点。最终，可以使用各目标点来确定各目标点是在潜在的不连续性的哪一侧上。将紧靠区域的目标点称为主要目标点，且将该邻域中的其他区域的目标点称为次要目标点，基于目标点的值最接近两个主要目标点中的哪一个来确定目标点在哪一侧上。

在计算最小二乘平面和随后的板以便评估给定的广义Voronoi区域的潜在的不连续性时，使用不同深度或广度的邻近Voronoi区域(将各平面和板拟合到其种子点的区域)是可能的。除了给定的Voronoi区域之外，可以使用直接邻居(“1环”区域)，或者也可以使用邻居的邻居(“2环”区域)等等。经验测试指出，2环邻域更经常产生优良结果。接下来描述用于执行这样的重建的示例过程。

图5示出用于计算种子或目标点106的平滑内插的过程。该过程由以如以上所描述的所标识的边界线/曲线的形式的不连续性来通知——且考虑该不连续性。尽管可以使用任何数量的可约束内插算法，但在一种实施方式中，在步骤200，执行二次最小化(quadratic minimization)，二次最小化惩罚缺乏平滑度的各测量值并将离散解表示成偏微分方程(PDE)(例如，拉普拉斯或双拉普拉斯)。在步骤202，如果目标函数分量跨过所选择的不连续性，则移除该目标函数分量。这种方法可以在除了跨不连续性之外的任何位置产生种子值的平滑的、无伪像的内插。注意，二次最小化仅仅是在这些连续偏微分方程是离散的情况下提出这些连续偏微分方程(或更一般地，提出全局松弛)的许多可能的方法中的一种。可以通过求解(稀疏)线性方程组来得到解。也应注意，松弛调整可以涉及消除跨不连续性的平滑度惩罚且然后执行与将在不存在不连续性的情况下执行的全局松弛不同的全局松弛。但是，松弛本身优选地是全局的，且考虑跨要重建的整个图像(然而，该图像可以是更大的图像的子部分)的平滑度惩罚(且由于不连续性而移除了一些)。

现在解释用于通过内插来重建的另一实施方式。在这一实施方式中，被称为带有不连续性的全局松弛，在考虑在引导信号(图像)中检测到的隐含不连续性的情况下重建目标信号(图像)。可以使用该技术而不管目标信号的采样的均匀性如何且不要求最小采样分辨率。即是说，不需要关于所需要的目标采样密度的假设，且目标信号可以是完全不规则的，且甚至可以由<x，y，值>三元组的短列表给出。此外，带有松弛的内插可以是全局性的，例如基于诸如拉普拉斯或双拉普拉斯等全局2D PDE，其可以涉及对整个图像进行多遍直到松弛结果开始收敛。

此外，如以上所描述的，可以在内插之前检测不连续性，且然后在存在这些不连续性的情况下松弛各目标样本。具体地，做出定义任何地方的PDE(但在不连续性处移除它)的平滑度惩罚。然后，从各目标点开始，松弛发生，各目标点变成了松弛中的点约束。注意，尽管在松弛期间的局部不连续性检测是可能的，但全局地检测不连续性(例如借助于Voronoi边界技术)可能是更加稳健的。例如，可以使用两阶段的检测和滤波过程，该过程中分析引导信号以便检测候选不连续性，且可以进一步分析这些候选不连续性以便消除较不可能的候选(例如，使用在此描述的板测试)。

现在将参考图6、图7和图8讨论一个示例，图6、图7和图8示出来自在此描述的技术的实现的实际输入和结果。图6示出示例引导图像220和一组示例目标像素222。尽管以黑白示出引导图像220，但在实践中，引导图像220是彩色照片；例如，引导图像220中的每一引导像素具有RGB(红、绿、蓝)值形式的摄影图像数据。示例目标像素222被示出为带有一些雕像，以便突出显示它们与引导图像220中示出的主题(场景或物体)的空间关系。然而，在实践中，目标像素222仅包括具有在要重建的目标图像(参见图8中的目标图像240)中(或被映射到该目标图像)的二维位置且具有各自的从视点投影的深度的一组初始像素。在图6中，各个目标像素223被示出为带有与相对于视点的远/近成比例的亮度/暗度。

图7示出一组示例候选不连续性226和不连续性的所选子集228。在一种实施方式中，候选不连续性226是如以上所描述的Voronoi边界230，其中相应的Voronoi区域围绕在种子232周围，种子232是对应于目标像素223的引导像素。以上面提到的任何数量的方法来分析候选不连续性22，例如通过将通过种子232的板/平面进行拟合以便标识不连续性的子集228。在图7中，所选择的不连续性234被示出为暗线，且其他未被选择的不连续性236被示出为亮线。注意，所选择的不连续性234可以是场景中的“裂缝”(物体的边缘)、物体的形状中的折皱或棱、点、场景中的缝隙、以及在内插期间如果完全消除则将不准确的其他几何特征。

图8示出最终所重建的目标图像240。目标图像240是从目标像素223的值和位置进行内插的结果，同时考虑了所选择的不连续性234。例如，通过松弛在所选择的不连续性234附近的内插，在不连续性附近的内插在邻近目标像素223的方向上可以是平滑的且仍然可以跨不连续性突变。例如，在对应于雕像的边缘的位置处的所内插的深度可以沿着雕像区域且一直到雕像的边缘平滑地改变，且然后可以在跨越雕像的边缘(不连续性)时突然变深；背景物体的较深内插值离开该边缘而平滑地改变。例如，参见图8中的区域242，其中目标图像240是深度图，且以亮度来示出深度。

结论

图9示出可以在其上实现以上所描述的一个或多个实施方式的计算机300。处理器301与存储器/存储302和显示器304耦合。可以以被存储在易失性或非易失性的计算机或设备可读的介质中的信息的形式来实现以上所描述的实施方式和特征。这被认为至少包括诸如光存储(例如，紧致盘只读存储器(CD-ROM))、磁介质、闪速只读存储器(ROM)或存储数字信息的任何当前的或将来的装置等介质。所存储的信息可以是以机器可执行的指令(例如，经编译的可执行二进制代码)、源代码、字节码或可以被用来允许计算设备执行或将其配置为执行以上所描述的各种实施方式的任何其他信息的形式。这也被认为至少包括在执行实现一个实施方式的程序期间存储诸如中央处理单元(CPU)指令等信息的诸如随机存取存储器(RAM)和/或虚拟存储器等易失性存储器，以及存储允许加载并执行程序或可执行代码的信息的非易失性介质。可以在包括便携式设备、工作站、服务器、移动无线设备等等的任何类型的计算设备上执行各实施方式和功能部件。

Claims (20)

1.一种生成重建图像(114)的方法，所述方法包括：

访问引导图像(100)和所述重建图像中的一组目标点(106)，每一目标点具有一数据值；

分析所述引导图像中的各点的数据值以便标识(108)所述引导图像中的多个不连续性曲线(103)；以及

在所述分析之后，通过根据所述不连续性曲线根据所述目标点的数据值来内插(112)所述重建图像中的各点的值来生成所述重建图像(114)。

2.如权利要求1所述的方法，其特征在于，还包括通过调整所内插的值(202)的平滑度测量来执行所述内插，以使得在跨所述不连续性曲线处忽略所述平滑度测量。

3.如权利要求2所述的方法，其特征在于，通过对所述整个重建图像重复所述内插和调整来细化所述重建图像(114)，其中每一重复都基于所述不连续性曲线(200，202)。

4.如权利要求3所述的方法，其特征在于，所述一组目标点对应于在所述引导图像中描绘的真实世界物体或场景的特征。

5.如权利要求1所述的方法，其特征在于，还包括使用所述目标点来选择所述不连续性曲线的子集(170)，且其中通过调整在所述不连续性曲线(112)附近如何计算松弛来使用所选择的不连续性曲线执行所述内插。

6.如权利要求1所述的方法，其特征在于，还包括计算所述目标点(152)周围的Voronoi边界(154)，其中所述Voronoi边界然后被用作所述不连续性曲线(103)的候选(154A)。

7.如权利要求6所述的方法，其特征在于，计算所述Voronoi边界是根据通过所述引导图像中的各点的数据值计算得到的距离、或根据所述引导图像中的稀疏距离、或其组合来获得的。

8.如权利要求7所述的方法，其特征在于，从任意引导像素到种子点的距离包括路径中连续像素之间的的绝对差或平方差的总和。

9.一种用于构建目标图像(114)的方法，所述目标图像(114)最初包括每个都具有初始已知值的多个目标像素(106)，所述方法包括：

标识引导图像(100)中的候选不连续性(103，108)，所述引导图像包括每个都具有相应的值的引导像素(104)；

从所述候选不连续性(103)当中选择一组不连续性(110，103A)；以及

在所述选择之后，基于所述目标像素(106A)的已知值并基于所选择的不连续性两者，通过其计算得到的所内插的像素值来构建所述目标图像(112)。

10.如权利要求9所述的方法，其特征在于，所述方法还包括计算所述引导图像中的各区域(150)，并将所述区域的边界(154)用作所述候选不连续性(154A)。

11.如权利要求10所述的方法，其特征在于，所述区域包括各Voronoi区域，且Voronoi区域包括所述引导图像的被计算为包括分别最接近所述引导图像中的种子像素的所有引导像素的区域。

12.如权利要求11所述的方法，其特征在于，根据所述引导像素的值来计算被用来找出所述Voronoi区域的距离。

13.如权利要求10所述的方法，其特征在于，所述引导像素的值包括色彩强度，且各目标像素的所述初始已知值包括深度值，且所内插的值包括所内插的深度值。

14.如权利要求10所述的方法，其特征在于，所述选择一组不连续性包括，对于候选不连续性(170)，基于给定的候选不连续性(174)的邻域确定是否选择所述给定的候选不连续性。

15.如权利要求14所述的方法，其特征在于，所述邻域包括各目标像素的值。

16.如权利要求14所述的方法，其特征在于，所述给定的候选不连续性包括由第一目标像素定义的第一区域之间以及由第二目标像素定义的第二区域之间的边界。

17.如权利要求15所述的方法，其特征在于，所述方法还包括确定目标像素的值在所述边界的每一侧如何变化。

18.一种由一个或多个计算机执行的方法，所述方法包括：

接收包括多个引导像素(104)的引导图像(100)并接收目标像素(102)，所述引导像素(104)具有所述引导信号中的各个位置且所述目标像素具有要重建的目标图像(114)中的各二维位置，所述引导像素(104)构成或来源于真实世界场景的摄影图像数据，且所述目标像素具有对应于所述真实世界场景(220)的初始值；

使用所述目标像素(232)来标识所述引导图像(226)中的不连续性(230)；以及

使用所述不连续性来通知通过根据所述目标像素的所述初始值来内插各值来重建所述目标图像(240)的内插过程。

19.如权利要求18所述的方法，其特征在于，在邻近的目标像素被不连续性隔开时，所述内插过程根据这些目标像素内插到所述不连续性但不跨越所述不连续性，且在邻近的目标像素不被不连续性隔开时，所述内插过程在这些邻近的目标像素之间平滑地内插。

20.如权利要求18所述的方法，其特征在于，还包括在执行所述内插方法时只使用不连续性的所选子集，所述子集中的不连续性是根据所述目标像素来选择的。