CN107004276A - 从一对图像中觉察3d结构的方法 - Google Patents

Abstract

用于从一对原始图像觉察三维(3D)结构的方法，包括以下步骤：a)对于每一个原始图像创建金字塔，其中该金字塔是一系列图像，每个图像构成金字塔的一级并且每个图像相对于金字塔中的前一级在各维度上具有一半的分辨率；b)对一对原始图像的金字塔执行CTF立体匹配；c)在一对原始图像中的相应级中检测(i)在CTF立体匹配中具有差结果以及(ii)具有高独特性分数的锚定器；以及d)对所述锚定器执行全穷举差异性搜索，以及将搜索的解扩散到所述锚定器的相邻像素。

Description

从一对图像中觉察3D结构的方法

相关申请的交叉引用

本申请要求于2014年7月3日提交的、题为“A Method of Perceiving 3DStructure from a Pair of Images(从一对图像中觉察3D结构的方法)”的以色列专利申请第233518号的利益，该申请的内容以全文通过引用方式合并于本文中。

技术领域

本发明涉及立体视觉系统领域。

背景技术

为了在视觉上觉察世界的三维(3D)结构，立体视觉是重要的步骤。觉察世界的3D结构的能力又是执行更高水平的视觉理解的关键步骤。这对于生物视觉系统以及计算视觉设备都是成立的。然而，两者之间的鸿沟巨大。虽然在生物系统足以解决问题，但是在计算机视觉中情况远非如此。

可以遵照多种不同的方法来从场景的一个或多个图像提取关于3D结构的信息。计算立体方法在相对于基准帧的某位置(或方向)集合处生成深度估计。对于两照相机方法，这些估计经常相对于第一照相机的坐标系给出。稀疏重构系统在可能位置中的相对小的子集处生成深度估计，其中稠密重构系统试图对于成像中的多数或全部详述生成估计。

计算立体技术通过确定显示出3D场景内的同一实体(场景对象、元件、位置或点)的两个图像中的相应像素来估计诸如深度的范围计量。给定一对相应的像素和照相机的相对位置和方位的知识，可以通过三角测量找到两个照相机射线的交叉点来估计深度。一旦计算出深度估计，输入图像的内在的和外在的照相机参数的知识用来计算绝对参考系(例如，全球定位系统(GPS)坐标)内的等同的3D位置，从而生成例如成像的每帧的3D点云，其能够转换成表面模型以便利用容积工具进一步分析。

虽然“深度”提供了2D图像与3D图像之间的直观差别，但是不必直接测量或估计深度。“差异性”是另一种当其它参数已知时在分析上等同于深度的范围计量。一般地，差异性是指一个图像中的像素与另一图像中的相应像素之间的像素位置(即，行和列位置)的差别。更确切地，差异性向量存储一对图像中的匹配像素之间的像素索引之间的差别。如果照相机位置和方位对于所处理的两个帧是已知的，则诸如对应性、差异性和深度的量保持等同的信息：可以通过三角测量法根据差异性来计算深度。

差异性向量场存储每个像素处的差异性向量，并且因此告知如何找到两个图像中的每个像素的匹配(或对应性)。当内在和外在照相机参数已知时，三角测量法将那些差异性估计转换成深度估计并且因此相对于照相机的参考系的3D位置。

在稠密计算立体中的基本过程是估计所分析的两个(或更多个)图像中的全部像素之间的对应性。该计算根本上基于像素之间的本地匹配质量的度量，仍是一个难题，并且说明了计算立体方法中的大部分的复杂度和运行时的原因。

相关技术的前述示例以及与其相关的局限性旨在示例性的，而不是穷尽的。相关技术的其它局限性将在阅读说明书和研究附图时对于本领域技术人员变得显而易见。

发明概述

下面的实施方案及其方面是结合意在示范性的、示例性的而不是限制访问的系统、工具和方法来进行说明和示例的。

一个实施方案提供了用于从一对原始图像中觉察三维(3D)结构的方法，包括以下步骤：a)对于每一个原始图像创建金字塔，其中该金字塔是一系列图像，每个图像构成了金字塔的一级，并且每个图像相对于金字塔中的前一级在每个维度上具有一半的分辨率；b)对一对原始图像的金字塔执行CTF立体匹配；c)在一对原始图像的相应级中检测(i)在CTF立体匹配中具有差结果以及(ii)具有高独特性分数的锚定器；以及d)对所述锚定器执行全穷举差异性搜索，以及将所述搜索的解扩散到所述锚定器的相邻像素。

另一实施方案提供了从一对原始图像中觉察三维(3D)结构的计算机程序产品，所述计算机程序产品包括其中存储有指令的非暂态计算机可读存储介质，当通过至少一个硬件处理器执行时，所述指令使所述硬件处理器：a)对于每一个所述原始图像创建金字塔，其中所述金字塔是一系列图像，每个图像构成了所述金字塔的一级，并且每个图像相对于所述金字塔中的前一级在每个维度上具有一半的分辨率；b)对所述一对原始图像的金字塔执行CTF立体匹配；c)在一对原始图像的相应级中检测(i)在CTF立体匹配中具有差结果以及(ii)具有高独特性分数的锚定器；以及d)对所述锚定器执行全穷举差异性搜索，以及将所述搜索的解扩散到所述锚定器的相邻像素。

另一实施方案提供了一种系统，包括：至少两个数字图像传感器；非暂态计算机可读存储介质，其中存储有指令，所述指令用于：a)对于每一个所述原始图像创建金字塔，其中所述金字塔是一系列图像，每个图像构成了所述金字塔的一级，并且每个图像相对于所述金字塔中的前一级在每个维度上具有一半的分辨率；b)对所述一对原始图像的金字塔执行CTF立体匹配；c)在一对原始图像的相应级中检测(i)在CTF立体匹配中具有差结果以及(ii)具有高独特性分数的锚定器；以及d)对所述锚定器执行全穷举差异性搜索，以及将所述搜索的解扩散到所述锚定器的相邻像素。

在一些实施方案中，该方法还包括：对于所述系列中的全部图像应用基于Canny算子的布尔掩码，并且对于全部图像中的每个像素在其邻域内聚合来自Canny算子的布尔信息，以及将其压缩成整数或长整数，从而提供被定义为匹配像素的Canny聚合(CA)的汉明距离的匹配分数(HCA)。

在一些实施方案中，该方法还包括：通过对于全部像素选择具有合理差异性的恒定映射来以最低分辨率创建差异性映射的初始猜测，以及对所述映射应用细化，使得每个像素寻找接近初始猜测的差异性以及挑选出具有最佳HCA的一个差异性。

在一些实施方案中，所述锚定器检测包括：e)创建锚定器候选的列表，其中所述候选是具有低匹配分数(小于某阈值)的像素；f)通过将这些像素分成两个列表来对所检测到的锚定器分类：第一列表是具有其分数高的邻域的像素，并且第二列表是不具有这样的邻域的像素；g)将所述两个列表中的像素按其独特性度量的阶次来排序，首先是最有区分性的像素，其中为此目的，保持对在CA映射中有多少像素接通进行计数的单独的映射。

在一些实施方案中，对两个排序的列表执行穷尽搜索包括：首先对第一列表进行，然后对第二列表进行，其中第一列表中的锚定器仅检查从它们的好邻域内扩散的几个候选，并且其中来自第二列表的锚定器将经历全范围穷尽搜索，使得在穷尽搜索上的成功是当最佳HCA位于预定义阈值以上时。

在一些实施方案中，该方法还包括：在每个成功的穷尽搜索后，开始扩散其结果，使得从其邻域得到初始猜测差异性的每个像素如下：h)按HCA对所述初始猜测差异性和近似差异性进行评分；i)从具有最佳HCA的步骤g)中挑选差异性；j)如果由于已经访问该像素的其它过程而使所述每个像素的HCA高于某阈值，并且高于对于所述每个像素已经存在的分数，则将差异性更新到该像素；k)在结束更新时，将像素扩散到其邻域；l)如果像素得到良好HCA且属于任意锚定器列表，则从这些列表中去除所述像素；m)将所述结果升级到更高分辨率，其中该升级差异性映射是下一分辨率的初始猜测；以及n)对于每个分辨率执行所述过程，使得其结果是每个分辨率的最终结果，然后如果需要更高的分辨率则执行所述升级。

在一些实施方案中，指令能够进一步由所述至少一个硬件处理器执行，对于所述系列中的全部图像应用基于Canny算子的布尔掩码，并且对于全部图像中的每个像素在其邻域内聚合来自Canny算子的布尔信息，以及将其压缩成整数或长整数，从而提供被定义为匹配像素的Canny聚合(CA)的汉明距离的匹配分数(HCA)。

在一些实施方案中，所述指令进一步能够由所述至少一个硬件处理器来执行，通过对于全部像素选择具有合理差异性的恒定映射来以最低分辨率创建差异性映射的初始猜测，以及对所述映射应用细化，使得每个像素寻找接近初始猜测的差异性以及挑选出具有最佳HCA的一个差异性。

在一些实施方案中，所述指令进一步能够由所述至少一个硬件处理器来执行，在每个成功的穷尽搜索后，开始扩散其结果，使得从其邻域得到初始猜测差异性的每个像素如下：h)按HCA对所述初始猜测差异性和近似差异性进行评分；i)从具有最佳HCA的步骤g)中挑选差异性；j)如果由于已经访问该像素的其它过程而使所述每个像素的HCA高于某阈值，并且高于对于所述每个像素已经存在的分数，则将差异性更新到该像素；k)在结束更新时，将像素扩散到其邻域；l)如果像素得到良好HCA且属于任意锚定器列表，则从这些列表中去除所述像素；m)将所述结果升级到更高分辨率，其中该升级差异性映射是下一分辨率的初始猜测；以及n)对于每个分辨率执行所述过程，使得其结果是每个分辨率的最终结果，然后如果需要更高的分辨率则执行所述升级。

在一些实施方案中，指令还包括：对于所述系列中的全部图像应用基于Canny算子的布尔掩码，并且对于全部图像中的每个像素在其邻域内聚合来自Canny算子的布尔信息，以及将其压缩成整数或长整数，从而提供被定义为匹配像素的Canny聚合(CA)的汉明距离的匹配分数(HCA)。

在一些实施方案中，所述指令还包括：通过对于全部像素选择具有合理差异性的恒定映射来以最低分辨率创建差异性映射的初始猜测，以及对所述映射应用细化，使得每个像素寻找接近初始猜测的差异性以及挑选出具有最佳HCA的一个差异性。

除了上述的示范性的方面和实施方案之外，通过参考附图以及研究以下的详细说明，进一步的方面和实施方案将变得显然已经。

附图说明

在所参考的附图中示出了示范性的实施方案。图中所示的组件和特征的尺寸通常是为了方便和清晰呈现而选定的，不一定是按比例显示的。附图列于下面。

图1是示出根据实施方案用于将计算负荷适应场景的复杂度的示范性的方法的流程图；以及

图2是根据实施方案用于机器立体视觉的系统的框图。

发明详述

本文公开了用于机器立体视觉的方法、系统和计算机程序产品，其中从一对原始图像觉察3D结构。有益地，对于该机器立体视觉所要求的计算负荷适应图像中所描绘的场景的复杂度，从而节约了诸如处理器使用、存储器使用和/或功耗的计算资源。

在求解诸如立体视觉的复杂问题方面的一个重要的洞察在于，不是图像中的全部数据都要求均匀水平的计算负荷。与诸如嵌齿轮、人类手掌或卷发等非纹理化壁或高度具体的结构相比，诸如木板、具体的衬衣等在结构上平滑且纹理化严重的对象更易于求解、立体视觉觉察度高。

该洞察的细化是其启发式量化。本文的假设是，大多数数据需要相对底水平的计算努力。假设，近似地，大约90％的数据是这样的。图像的大部分，在对于较高水平视觉理解的要求精度以及计算复杂度方面，经常俘获每个图像中的不到10％的像素。

找到一对图像中的立体匹配的常见的解决方案是，在没有任何先验的情况下，在所有理论上可能性中，对于一个图像中的每个像素的邻域，找到另一图像的最佳匹配。这导致N*M的复杂度，其中N像素数量，M是差异性范围。在没有任何先验的情况下，从零开始估计像素的差异性的方法在本文称为穷尽搜索。

根据本实施方案，更高效且先进的方法是检测穷尽搜索的候选，作为第一阶段。穷尽搜索所找到的良好匹配的每个这样的候选(根据一些匹配标准，例如对在像素邻域周围或像素邻域内的ROI中的匹配像素之间的平方差(SSD)求和)称为“锚定器”。第二阶段是将锚定器的差异性扩散到具有来自平滑性先验的某容差的相邻像素。通过这种方式，昂贵的穷尽搜索算法的使用缩窄到少量的像素，并且需要对于其余像素的更少量的候选的评估，依赖于平滑性先验。该方法在本文称为穷尽和扩散(E&D)。

为了提高在第二图像中找到独特匹配的概率，锚定器需要具有独特的形状和方位。

我们知道，我们正打算对锚定器运行“昂贵的”算法(即，其会占用相当大量的存储器和其它系统资源)，因此让我们最大化其成功的概率。对于独特性度量，本实施方案可以使用许多可用方法中的一个，例如哈里斯点(参见C.Harris和M.Stephens(1988)，“Acombined corner and edge detector”，Proceedings of the 4^th Alvey VisionConference,pp.147-151)，SIFT(参见Lowe，David G.(1999)，“Object recognition fromlocal scale-invariant features”，Proceedings of the International Conferenceon Computer Vision 2,pp.1150-1157)和SURF(参见Herbert Bay,Andreas,Ess,TinneTuytelaars,Luc Van Gool,(2008)，“SURF：Speeded Up Robust Features”，ComputerVision and Image Understanding(CVIU),Vol.110,No.3,pp.346-359)。

问题在于，锚定器需要以将不错过任何孤立的对象的方式分布。孤立的对象是具有与其环境显著不同的深度的对象。该对象将不会通过扩散算法而得到正确的差异性。因此，本实施方案应当选择其像素之一作为锚定器。该分布要求导致需要最少量的锚定器，否则锚定器的量会大。

以其效率著称的另一方法是粗到精(CTF)。该方法对于两个原始图像中的每一个构造分级金字塔。金字塔是一系列图像，每个图像具有前一图像的一半的分辨率。然后，该方法应用匹配算法于最低分辨率，这相对快速，因为图像和候选的可能差异数量都很小。示范性的匹配方法将在下文进一步详述。细化步骤是使用对于每个分辨率的解作为较高分辨率的初始猜测，并将其细化。这样，在每个分辨率下对于每个像素将获得仅两个或三个候选。这导致性能与分辨率之间的对数比。该方法的问题在于，其对于我们在最低分辨率下不可能显现的好的细节给予低的品质。然而，其对大部分像素给予良好解。

通过上文所述的技术提供的启示以一种新的方式组合在本文所描述的实施方案中以产生具有特定优点的方法。因此，本实施方案使用上述E&D和CTF方法作为彼此的互补。假设我们执行CTF，假设属于我们错过的对象的像素将具有差的匹配分数。在这些像素中，该方法选择具有最高独特性度量的像素，并且对它们运行穷举搜索。如果成功，则方法扩散其差异性，直至分数不改善现有的(来自CTF)。我们以两种方式看待该组合：

1.作为主算法的E&D，以及作为其对锚定器的检测器的CTF。

2.作为主算法的CTF，以及作为错误纠正的E&D。

该组合以简单且高雅的方式实现上述洞察。大多数像素以非常高效的方式(CTF)具有正确解，而有问题的像素将被自动检测到且然后以更廉价且全面的方式进行处置。使用该组合方法来获得两种技术的益处，因此，表示了现有技术的非显而易见的扩展。

通过确定两个图像中显示出3D场景中的同一点的相应像素以及利用核面几何学来计算深度，计算立体视觉估计深度。给定一对相应的像素和照相机的相对位置和方位的知识，通过三角测量法找到两个照相机射线的交叉点能够估计出深度。计算立体视觉方法基于两个照相机之间的核面几何学内的相应的像素、特征或区域的三角测量。三角测量在一些立体几何学下以及在对应性估计不存在误差的情况下是直接的。

图1是示出了根据本发明的实施方案用于将计算负荷适应场景的复杂度的示范性的方法的流程图。在框101中，一对图像I₁(i,j)和I₂(i,j)(其中I＝1,2,…,imax，且j＝1,2,…,jmax是离散像素索引)被选择用于立体处理(例如，来自视频流)。在框102中，该方法对于每一个图像创建金字塔，其中每个金字塔是具有不同分辨率的一系列图像：金字塔中的每一级是相比于金字塔的前一级中的图像在各维度上具有一半分辨率的图像。

可以添加中间步骤：在CTF细化后，我们检测到具有相对低匹配分数和高独特性度量的锚定器，其邻域是具有相对高匹配分数的像素。在多数情况下，这些像素代表了细化的差异性映射中的边缘和孔。对于这些锚定器，我们将仅估计从良好邻域的差异性扩散的差异性候选。以这种方式，我们对边缘和孔使用E&D算法，但是以更高效的方式。我们将该步骤仅视为扩散器。我们从作为来自CTF的具有相对高匹配分数的像素且具有至少一个具有相对低匹配分数和高区别性的邻像素的锚定器开始，并且扩散它们的差异性。

根据实施方案，CTF和E&D在每个金字塔级中单独地组合。在框103中，该方法从高分数到低分数执行CTF，然后是扩散。在框104中，该方法检测每个金字塔级中的E&D的锚定器。在框105中，该方法对于每个锚定器在检测到的级上执行穷举搜索。这样，该方法以非常高效的方式利用穷举搜索。

通过以下示例性的和非限制性的实施例能够对此进行更好的理解：例如，让我们在某背景前方拍摄手掌，并且假设我们在最低分辨率下错过了它，并且其在最高分辨率下包含20x20个像素。我们将比在最高分辨率阶段中快得多地检测到我们的错过。在系统检测到错过的瞬间，其执行穷举搜索(框105)。这样，我们以比在最高分辨率下更低数量的候选来执行穷举搜索。如果该过程成功(框106)，从现在开始仅须在较高分辨率下细化手掌，而不是从零开始找手掌。这可以通过执行扩散来完成(框107)。在该实施方案中，扩散是通过将限定手掌的像素升级来获得的(x,y,扩散)。该实施例演示了该方法如何自动地使计算负荷紧密适应场景的复杂度。

有益地，上文所述的方法通过为其配备用于小且孤立的细节的鲁棒且简单的纠错来补偿CTF的主要缺点。而且，该方法通过为其配备高效的用于锚定器的检测器来补偿E&D的主要缺点。

下文进一步详述上文提到的计分。

当今用于两个图像中的像素之间的匹配的直接的已知分数是将它们的邻域的强度进行比较，即，对两个邻域中的相应像素之间的差别的绝对值(或平方)求和。我们将该方法称为SSD(平方差之和。为简化，我们将该名称与绝对值之和共用)。该方法的主要缺点如下：

“对极端数的灵敏度”：具有极端强度的几个像素会不成比例地劣化分数的组人。该极端数可以来自两个主要原因：A.硬件(照相机等)误差，B.邻域的中心像素接近场景中的结构边缘。因此，匹配分数从具有不同差异性的两个区域采集数据。

“对外观的灵敏度”：两个窗口(每个像素的邻域)的强度会由于亮度、反射和/或视点的差别而彼此大不相同。

“计算复杂度”：计算复杂度高，因为通常对于每一个像素需要执行一打或更多的操作。

目前已知的克服“对极端数的灵敏度”的一个最鲁棒的方式是由某阈值箝位差值的绝对值。另一种鲁棒的方式是，仅用回答差值是否大于某阈值的问题的布尔值来取代差值。在相邻窗口内的这两个建议(每个像素)分数之和相应地类似于MSAC(M估计器样本和合意，参见P.H.S.Torr,A.Zisserman(2000)，“MLESAC：A New Robust Estimator withApplication to Estimating Image Geometry”，Computer Vision and ImageUnderstanding 78,138-156)和RANSAC(随机样本合意，参见Robust Statistics,Peter.J.Huber,Wiley，1981)。第二个更基础。在RANSAC中，我们对极端数简单地计数。很容易理解我们在此利用布尔方法来做同样的事情。在MSAC中，我们将极端数计数为等于阈值，并且內围数具有它们自己的值。

另一种克服“对外观的灵敏度”的现有技术方法是使用正则化交叉相关。在该方法中，我们从每个邻域中减去平均强度，在固定值之间执行内积，并且通过将其除以邻域L2范数的乘积来将结果正则化。该方法从对外观差别的鲁棒性方面被视为现有技术，但是遇到了与“对极端数的灵敏度”相同的问题，它甚至比SSD更低效。

克服全部三个确定的另一种现有技术方法是“调查”分数。对于具有强度I0和邻域A的给定的像素X0，创建布尔的窗口，其具有与原邻域相同的大小，其中像素“i”是对原始邻域中的像素“i”的强度Ii是否大于I0的问题的答案。然后，布尔的该邻域被压缩成整数或长64(long64)，并且调查分数(Census score)将是两个整数之间的汉明距离。易于理解到该分数的有效性。

其对极端数鲁棒的原因在于，其对极端数所做的与SSD(上文提到)的鲁棒版本所做的相同。它们都限制极端数的权重。调查分数高雅地处理对外观的灵敏度的原因在于，其所持有的信息，仅取决于图像内的强度关系。这些关系假设从一个图像到一个图像保存，甚至在亮度变化之后。

我们理解调查分数的两个主要缺点：

1.其持有关于X0的邻域的极少的信息。其不持有关于不包含X0的几个像素之间的相互关系的任何信息。

2.其对I0(X0的强度)具有不成比例的相关性。

本实施方案的方法建议克服上文全部问题的有益的计分计算过程。该过程可涉及到以下步骤：

应用边缘检测算法(例如，Canny算法)从而得到表示边缘的像素的布尔映射；以及

将其压缩且计算汉明距离，方式与调查(Census)相同。

该方法限制极端数的权重，方式与上文所有鲁棒性方法相同。其对亮度变化的鲁棒性的级别与canny算法相同。Canny算法(参见Canny，J.,(1986)“A ComputationalApproach To Edge Detection”，IEEE Trans.Pattern Analysis and MachineIntelligence，8(6)：679-698)据知对极端数和亮度变化具有现有技术的鲁棒性。另外，该分数包含了比Census更多的信息，并且对整个邻域给予均匀的权重，与Census不同。

现在参考图2，该图示出了用于机器立体视觉的系统200的框图，其中从一对原始图像中觉察3D结构。系统200可以包括至少两个数字图像传感器202，204。适合的图像传感器的实施例包括CCD(电荷耦合器件)和/或CMOS(互补金属氧化物半导体)器件，这是本领域已知的。传感器202，204可以包含在单个照相机设备中或者单独的照相机设备中。

系统200还可以包括非暂态计算机可读存储介质(“存储器”)206，诸如磁硬盘驱动器、闪存设备和/或类似设备，其中存储有实现上文所述的实施方案的程序指令。

系统200还可以包括能够执行存储在存储器206中的程序指令的至少一个硬件处理器208。随机存取存储器(RAM)210还可以包含在系统200中，并且对于指令的至少一部分用作临时的、快速存储设备。

作为一个实施例，系统200可以是机器人的零件。系统200可以赋予机器人以执行其职责所需的立体机器视觉能力。

本实施方案还可以是计算机程序产品。计算机程序产品可以包括其中具有用于使处理器实施本发明的方案的计算机可读程序指令的计算机可读存储介质(或多个介质)。

计算机可读存储介质可以是能够保留和存储指令以便由指令执行设备使用的非暂态的、有形设备。计算机可读存储介质可以是例如但不限于电子存储设备，磁存储设备，光学存储设备，电磁存储设备，半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体的示例的非穷尽列表包括以下：便携式计算机磁盘，硬盘，随机存取存储器(RAM)只读存储器(ROM)，可擦除可编程只读存储器(EPROM或闪存)，静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)，数字多功能盘(DVD)、记忆棒、软盘或任何前述的适当组合。在本文所使用的计算机可读存储介质不应解释为暂态信号本身，例如无线电波或其它自由传播的电磁波、通过波导或其它传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)或通过电线传输的电信号。

本文所描述的计算机可读程序指令可以从计算机可读存储介质装载到相应的计算/处理设备或者经由例如因特网、局域网、广域网和/或无线网的网络装载到外部计算机或外部存储设备。网络可以包括铜传输线缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边沿服务器。每个计算/处理设备中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令并且转发计算机可读程序指令以便存储在相应的计算/处理设备内的计算机可读存储介质内。

用于实施本发明的操作的计算机可读程序指令可以是汇编指令、指令集体系结构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设定数据或者以一种或多种编程语言的任何组合来编写的源码或对象码，所述编程语言包括面向对象的编程语言(诸如Java，Smalltalk，C++等)和常规的过程编程语言，诸如“C”编程语言或类似的编程语言。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上执行且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如，通过使用因特网服务提供商的因特网)。在一些实施方案中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路系统可以通过使用计算机可读程序指令的状态信息来个性化电子电路系统来执行计算机可读程序指令，从而执行本发明的各方面。

以上参照根据本发明实施方案的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各方面。应当理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以通过计算机程序指令来实现。

这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令，创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在可以指导计算机、其他可编程数据处理装置或其他设备以特定方式运行的计算机可读存储介质中，使得其中存储有指令的计算机可读存储介质包括制品，制品包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的方面的指令。

计算机可读程序指令还可以装载到计算机、其它可编程数据处理装置或其它设备上以使在计算机、其它可编程装置或其它设备上执行一系列操作步骤来产生计算机实现的过程，使得在计算机、其它可编程装置或其它设备上执行的指令实现在流程图和/或框图的一个或多个或框内规定的功能/动作。

附图中的流程图和框图示出了根据本发明的各种实施方案的系统、方法和计算机程序产品的可能的实现的体系结构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块，段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方式中，在框中标注的功能可以不按照附图中所示的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本同时执行，或者这些块有时可以以相反的顺序执行。还将注意，框图和/或流程图图示中的每个框以及框图和/或流程图中的框的组合可以由执行指定功能或动作或实施专用硬件和计算机指令的组合的基于专用硬件的系统来实现。

已经出于说明的目的给出了本发明的各种实施方案的描述，但是这些描述并不旨在穷举或限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下，许多修改和变化对于本领域普通技术人员将是显而易见的。选择本文中使用的术语是为了最好地解释实施方案的原理，实际应用或对市场中发现的技术的技术改进或使本领域的其他普通技术人员能够理解本文公开的实施方案。

Claims (18)

1.一种从一对原始图像中觉察三维(3D)结构的方法，包括以下步骤：

a)对于每一个所述原始图像创建金字塔，其中所述金字塔是一系列图像，每个图像构成了所述金字塔的一级，并且每个图像相对于所述金字塔中的前一级在每个维度上具有一半的分辨率；

b)对所述一对原始图像的金字塔执行CTF立体匹配；

c)在一对原始图像的相应级中检测(i)在CTF立体匹配中具有差结果以及(ii)具有高独特性分数的锚定器；以及

d)对所述锚定器执行全穷举差异性搜索，以及将所述搜索的解扩散到所述锚定器的相邻像素。

2.根据权利要求1所述的方法，还包括：对于所述系列中的全部图像应用基于Canny算子的布尔掩码，并且对于全部图像中的每个像素在其邻域内聚合来自Canny算子的布尔信息，以及将其压缩成整数或长整数，从而提供被定义为匹配像素的Canny聚合(CA)的汉明距离的匹配分数(HCA)。

3.根据权利要求2所述的方法，还包括：通过对于全部像素选择具有合理差异性的恒定映射来以最低分辨率创建差异性映射的初始猜测，以及对所述映射应用细化，使得每个像素寻找接近初始猜测的差异性以及挑选出具有最佳HCA的一个差异性。

4.根据权利要求1所述的方法，其中所述锚定器检测包括：

e)创建锚定器候选的列表，其中所述候选是具有低匹配分数(小于某阈值)的像素；

f)通过将这些像素分成两个列表来对所检测到的锚定器分类：第一列表是具有其分数高的邻域的像素，并且第二列表是不具有这样的邻域的像素；

g)将所述两个列表中的像素按其独特性度量的阶次来排序，首先是最有区分性的像素，其中为此目的，保持对在CA映射中有多少像素接通进行计数的单独的映射。

5.根据权利要求4所述的方法，其中对两个排序的列表执行穷尽搜索包括：首先对第一列表进行，然后对第二列表进行，其中第一列表中的锚定器仅检查从它们的好邻域内扩散的几个候选，并且其中来自第二列表的锚定器将经历全范围穷尽搜索，使得在穷尽搜索上的成功是当最佳HCA位于预定义阈值以上时。

6.根据权利要求5所述的方法，还包括：在每个成功的穷尽搜索后，开始扩散其结果，使得从其邻域得到初始猜测差异性的每个像素如下：

h)按HCA对所述初始猜测差异性和近似差异性进行评分；

i)从具有最佳HCA的步骤g)中挑选差异性；

j)如果由于已经访问该像素的其它过程而使所述每个像素的HCA高于某阈值，并且高于对于所述每个像素已经存在的分数，则将差异性更新到该像素；

k)在结束更新时，将像素扩散到其邻域；

l)如果像素得到良好HCA且属于任意锚定器列表，则从这些列表中去除所述像素；

m)将所述结果升级到更高分辨率，其中该升级差异性映射是下一分辨率的初始猜测；以及

n)对于每个分辨率执行所述过程，使得其结果是每个分辨率的最终结果，然后如果需要更高的分辨率则执行所述升级。

7.从一对原始图像中觉察三维(3D)结构的计算机程序产品，所述计算机程序产品包括其中存储有指令的非暂态计算机可读存储介质，当通过至少一个硬件处理器执行时，所述指令使所述硬件处理器：

a)对于每一个所述原始图像创建金字塔，其中所述金字塔是一系列图像，每个图像构成了所述金字塔的一级，并且每个图像相对于所述金字塔中的前一级在每个维度上具有一半的分辨率；

b)对所述一对原始图像的金字塔执行CTF立体匹配；

c)在一对原始图像的相应级中检测(i)在CTF立体匹配中具有差结果以及(ii)具有高独特性分数的锚定器；以及

d)对所述锚定器执行全穷举差异性搜索，以及将所述搜索的解扩散到所述锚定器的相邻像素。

8.根据权利要求7所述的计算机程序产品，其中所述指令进一步能够由所述至少一个硬件处理器来执行，对于所述系列中的全部图像应用基于Canny算子的布尔掩码，并且对于全部图像中的每个像素在其邻域内聚合来自Canny算子的布尔信息，以及将其压缩成整数或长整数，从而提供被定义为匹配像素的Canny聚合(CA)的汉明距离的匹配分数(HCA)。

9.根据权利要求7所述的计算机程序产品，其中所述指令进一步能够由所述至少一个硬件处理器来执行，通过对于全部像素选择具有合理差异性的恒定映射来以最低分辨率创建差异性映射的初始猜测，以及对所述映射应用细化，使得每个像素寻找接近初始猜测的差异性以及挑选出具有最佳HCA的一个差异性。

10.根据权利要求7所述的计算机程序产品，其中所述锚定器检测包括：

e)创建锚定器候选的列表，其中所述候选是具有低匹配分数(小于某阈值)的像素；

f)通过将这些像素分成两个列表来对所检测到的锚定器分类：第一列表是具有其分数高的邻域的像素，并且第二列表是不具有这样的邻域的像素；

g)将所述两个列表中的像素按其独特性度量的阶次来排序，首先是最有区分性的像素，其中为此目的，保持对在CA映射中有多少像素接通进行计数的单独的映射。

11.根据权利要求10所述的计算机程序产品，其中对两个排序的列表执行穷尽搜索包括：首先对第一列表进行，然后对第二列表进行，其中第一列表中的锚定器仅检查从它们的好邻域内扩散的几个候选，并且其中来自第二列表的锚定器将经历全范围穷尽搜索，使得在穷尽搜索上的成功是当最佳HCA位于预定义阈值以上时。

12.根据权利要求11所述的计算机程序产品，其中所述指令进一步能够由所述至少一个硬件处理器来执行，在每个成功的穷尽搜索后，开始扩散其结果，使得从其邻域得到初始猜测差异性的每个像素如下：

h)按HCA对所述初始猜测差异性和近似差异性进行评分；

i)从具有最佳HCA的步骤g)中挑选差异性；

j)如果由于已经访问该像素的其它过程而使所述每个像素的HCA高于某阈值，并且高于对于所述每个像素已经存在的分数，则将差异性更新到该像素；

k)在结束更新时，将像素扩散到其邻域；

l)如果像素得到良好HCA且属于任意锚定器列表，则从这些列表中去除所述像素；

m)将所述结果升级到更高分辨率，其中该升级差异性映射是下一分辨率的初始猜测；以及

n)对于每个分辨率执行所述过程，使得其结果是每个分辨率的最终结果，然后如果需要更高的分辨率则执行所述升级。

13.一种系统，包括：

至少两个数字图像传感器；

非暂态计算机可读存储介质，其中存储有指令，所述指令用于：

a)对于每一个所述原始图像创建金字塔，其中所述金字塔是一系列图像，每个图像构成了所述金字塔的一级，并且每个图像相对于所述金字塔中的前一级在每个维度上具有一半的分辨率；

b)对所述一对原始图像的金字塔执行CTF立体匹配；

c)在一对原始图像的相应级中检测(i)在CTF立体匹配中具有差结果以及(ii)具有高独特性分数的锚定器；以及

d)对所述锚定器执行全穷举差异性搜索，以及将所述搜索的解扩散到所述锚定器的相邻像素，

至少一个硬件处理器，其被配置成执行所述指令。

14.根据权利要求13所述的系统，其中所述指令还包括：对于所述系列中的全部图像应用基于Canny算子的布尔掩码，并且对于全部图像中的每个像素在其邻域内聚合来自Canny算子的布尔信息，以及将其压缩成整数或长整数，从而提供被定义为匹配像素的Canny聚合(CA)的汉明距离的匹配分数(HCA)。

15.根据权利要求13所述的系统，其中所述指令还包括：通过对于全部像素选择具有合理差异性的恒定映射来以最低分辨率创建差异性映射的初始猜测，以及对所述映射应用细化，使得每个像素寻找接近初始猜测的差异性以及挑选出具有最佳HCA的一个差异性。

16.根据权利要求13所述的系统，其中所述锚定器检测包括：

e)创建锚定器候选的列表，其中所述候选是具有低匹配分数(小于某阈值)的像素；

f)通过将这些像素分成两个列表来对所检测到的锚定器分类：第一列表是具有其分数高的邻域的像素，并且第二列表是不具有这样的邻域的像素；

g)将所述两个列表中的像素按其独特性度量的阶次来排序，首先是最有区分性的像素，其中为此目的，保持对在CA映射中有多少像素接通进行计数的单独的映射。

17.根据权利要求16所述的系统，其中对两个排序的列表执行穷尽搜索包括：首先对第一列表进行，然后对第二列表进行，其中第一列表中的锚定器仅检查从它们的好邻域内扩散的几个候选，并且其中来自第二列表的锚定器将经历全范围穷尽搜索，使得在穷尽搜索上的成功是当最佳HCA位于预定义阈值以上时。

18.根据权利要求17所述的系统，其中所述指令还包括：在每个成功的穷尽搜索后，开始扩散其结果，使得从其邻域得到初始猜测差异性的每个像素如下：

h)按HCA对所述初始猜测差异性和近似差异性进行评分；

i)从具有最佳HCA的步骤g)中挑选差异性；

j)如果由于已经访问该像素的其它过程而使所述每个像素的HCA高于某阈值，并且高于对于所述每个像素已经存在的分数，则将差异性更新到该像素；

k)在结束更新时，将像素扩散到其邻域；

l)如果像素得到良好HCA且属于任意锚定器列表，则从这些列表中去除所述像素；

m)将所述结果升级到更高分辨率，其中该升级差异性映射是下一分辨率的初始猜测；以及

n)对于每个分辨率执行所述过程，使得其结果是每个分辨率的最终结果，然后如果需要更高的分辨率则执行所述升级。