CN105144236A - 实时立体匹配 - Google Patents

Abstract

描述了实时立体匹配，例如，用以找出环境中各对象距捕捉各对象的立体图像流的图像捕捉设备的深度。例如，深度可以被用来控制增强现实、机器人、自然用户界面技术、游戏及其他应用。使用并行处理单元来处理用或没用投射到环境上的照明图案获得的立体图像流或单个立体图像以获得深度图。在各实施例中，并行处理单元并行地传播与差别图中的各行或各列中的深度相关的值。在各示例中，可以根据立体对的两个图像之间的相似度测量来传播值；传播可以是立体图像流的各帧的差别图之间的时间上的，并且可以是左或右差别图内的空间上的。

Description

实时立体匹配

背景

立体匹配是其中将从稍微不同的视角拍摄的一场景的两个图像(立体图像对)进行匹配以找出描绘同一场景元素的各图像元素的差别(位置上的差异)的过程。差别提供与场景各元素到相机的相对距离有关的信息。立体匹配使得差别能够被计算并且从而可以找出环境中各对象的表面的深度。可以使用包括相隔已知距离的两个图像捕捉设备的立体相机来捕捉立体图像对。

立体匹配在计算上是复杂的，因为要搜索大量的可能匹配；立体对中的左图像中的图像元素可以与立体对中的右图像中的任何图像元素相匹配。已经开发出用于立体匹配(又称为立体对应问题)的各种办法并且一般在结果的精确性和进行计算所需的速度和资源之间存在折衷。

称作主动立体的一种办法涉及用包括点、团块、线或其他图案的照明图案来照明场景。该照明图案在立体图像对中被立体相机捕捉并且可以被用来帮助降低立体对应问题的复杂度。

以下描述的各实施例不限于解决已知立体相机匹配过程的缺点中的任一个或全部的实现。

概述

下面呈现了本发明的简要概述，以便向读者提供基本理解。本概述不是本公开的穷尽概览，并且不标识本发明的关键/重要元素或描述本说明书的范围。其唯一的目的是以简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。

描述了实时立体匹配，例如，用以找出环境中各对象距捕捉各对象的立体图像流的图像捕捉设备的深度。例如，深度可以被用来控制增强现实、机器人、自然用户界面技术、游戏及其他应用。使用并行处理单元来处理用或没用投射到环境上的照明图案获得的立体图像流或单个立体图像以获得深度图。在各实施例中，并行处理单元并行地传播与差别图中的各行或各列中的深度相关的值。在各示例中，可以根据立体对的两个图像之间的相似度测量来传播值；传播可以是立体图像流的各帧的差别图之间的时间上的，并且可以是左或右差别图内的空间上的。

通过结合附图参考以下详细描述，可易于领会并更好地理解许多附带特征。

附图简述

根据附图阅读以下具体实施方式，将更好地理解本发明，在附图中：

图1示出捕捉环境中各对象的立体图像对的流的立体相机(或者主动或者被动)，并且示意性地解说了计算用于游戏系统、增强现实系统、自然用户界面、机器人系统或其他系统的输入的差别值的实时立体匹配引擎；

图2是树的立体图像对的示意图，并且解说了可以如何使用立体匹配来计算树的差别；

图3是主动立体相机安排的示意图；

图4是图1的立体匹配引擎处的示例方法的流程图；

图5是根据单个立体图像对计算差别图的方法的流程图；

图6是更加详细的图4的时间传播过程的示例的流程图；

图7是更加详细的图4的空间传播过程的示例的流程图；

图8是空间传播的示例向前和向后传递的示意图；

图9是检查差别图中错误差别的方法的流程图；

图10示出可在其中实现实时立体匹配的各实施例的示例性基于计算的设备。

在各个附图中使用相同的附图标记来指代相同的部件。

详细描述

下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可以构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。

虽然在本文中将本发明的示例描述并示出为在具有立体图像流的立体系统中实现，但是所描述的系统只是作为示例而非限制来提供的。本领域的技术人员将会领会，本发明的示例适于包括主动立体系统和被动立体系统的各种不同类型的立体系统中的应用，其中单个立体对被独立于其他立体对处理。

图1示出了被动立体相机对108，其可以被用来捕捉环境中各对象110的立体图像对的流104。该被动立体相机对108可以在环境中移动或者可以被固定。该被动立体相机对108包括彼此相隔已知距离并被安排成使其视野基本重叠的两个图像捕捉设备。图像捕捉设备可以是红外相机、RGB相机或其他类型的相机。

图2还示出了主动立体相机对106，其可以代替被动立体相机对108被用来捕捉立体图像对的流104。主动立体相机106具有相关联的照明源，该照明源可以与主动立体相机106集成或者可以是分立的并且位于环境110中的其他位置。相关联的照明源能够将照明图案投射到环境110中的各对象上。例如，红外照明、可见光或其他照明。照明图案可以包括团块、线、网格或其他图案。主动立体相机106包括彼此相隔已知距离并被安排成使其视野基本重叠的两个图像捕捉设备。图像捕捉设备能够捕捉被照明源照明的场景中各对象的图像。例如，在照明是红外线的情况下，图像捕捉设备可以是红外相机。

无论是来自被动立体相机还是来自主动立体相机的立体图像对的流都被输入到包括并行处理单元102的实时立体匹配引擎100。在一些示例中，实时立体匹配引擎100还可以处理不是立体图像流的一部分的立体对。实时立体匹配引擎100计算输入立体图像的图像元素的差别值112。这些差别值与从立体相机到各图像元素所描绘的对象的表面的距离相关。差别值可以被游戏系统114、增强现实系统116、自然用户界面118、机器人系统120或使用与环境中对象表面的距离有关的信息的任何其他系统使用。图像元素可以是像素、体素、多个像素或多个体素。

实时立体匹配引擎100可以与立体相机(主动或被动)集成或者可以位于能够接收立体图像流的另一实体处。实时立体匹配引擎100使用计算机实现并且并行处理单元102可以是图形处理单元、程序专用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其他并行处理单元。

现在参考图2从高层面来描述用以找出差别值的立体匹配的概念以辅助理解本文中所描述的各示例。图2是含有包括树200的场景的左图像202和右图像204的立体图像对的示意图。用来捕捉立体图像对的立体相机(图2中未示出)包括彼此分离以便如示出那样分别所捕捉的左图像和右图像的两个图像捕捉设备。左图像和右图像中心的点被示出以辅助解说。在左图像202中树200的图像在点左侧；在右图像204中树的图像在点右侧。当左图像和右图像被叠加为合成图像206时，使用虚线示出来自左图像的树的图像。描绘来自左图像的树基的图像元素被称为与描绘来自右图像的树基的图像元素相对应。这些对应图像元素之间的距离在箭头208处示出，并且表示可以按像素单元或其他图像元素测量的这些图像元素之间的差别。差别值208与树200距图像捕捉设备的距离或深度相关。找出左图像的哪些图像元素与右图像的哪些图像元素相对应在计算上是复杂的，对于高分辨率图像而言尤甚。图2的安排是被动立体匹配的示例，因为没有用诸如红外点图案之类的主动照明源来照明场景(即树及其环境)。本文中所述的立体匹配的各示例可以应用于主动立体匹配和被动立体匹配两者，并且于是现在参考图3来描述针对主动立体是示例设置。

图3是更加详细的诸如图1的主动立体相机106之类的主动立体相机安排的示意图。该安排包括彼此例如通过固定到轨道或其他支撑而被分隔开的至少两个图像捕捉设备。在图3的示例中，图像捕捉设备是红外(IR)相机300。然而，可以使用其他类型的图像捕捉设备，诸如RGB相机。图像捕捉设备可以被同步锁相或同步以使得图像能够在相同时间点在每一图像捕捉设备处被捕捉。图像捕捉设备被放置成使得其视野重叠。如图3所示，每个图像捕捉设备300能够捕捉环境110中的各对象的图像，尽管每个图像捕捉设备具有不同的视点。

主动立体相机安排还包括照明源，诸如IR投影仪304、可见光源或能够将照明图案投射到环境110中的各对象上的其他照明源。照明源可以被安排成将随机的点图案或其他照明图案投射到环境110中的各对象上。同步锁相的图像捕捉设备可以被用来捕捉环境中各对象的图像，包括IR点的随机图案或投射到对象的各表面上的其他照明图案。例如，IR相机可以输出灰度图像，其中每个图像元素包括单个强度值。

图4是图1的立体匹配引擎处的示例方法的流程图。在此示例中，立体图像对的流400被接收或输入给立体匹配引擎。该流包括各帧，每一帧是立体图像对。在其他示例中，诸如以下参考图5所述的示例中，立体匹配引擎处理并非来自立体图像流的立体图像对。

立体图像对可以被校正401，从而使垂直差别被最小化且可以被忽略。以此方式，左立体图像中给定行上的图像元素将在右立体图像中相同行上的其他位置处具有其对应的图像元素(即，描绘环境中同一表面位置的图像元素)。可以使用用于校正立体图像对的任何合适过程。

立体匹配引擎初始化针对来自当前帧的一个立体图像的差别图。该差别图是立体匹配引擎打算计算的输出。一开始，针对当前帧的差别图包括随机值；即立体匹配引擎将随机差别指派给当前差别图的图像元素的子样本402，以便创建低分辨率当前差别图。立体匹配引擎一旦出如下文详述的那样计算出更加精确的值就可以盖写这些初始随机值。随机值可以以这样的方式被指派：这些值在用户可定义的范围内从而使所指派的值表示该范围。

为了减少计算时间和资源，立体匹配引擎可以使用图像元素的稀疏网格，诸如稀疏像素网格。可以通过以指定因子对图像水平地且垂直地进行子采样来形成稀疏像素网格。初始随机差别值可以被指派给稀疏像素网格以形成稀疏差别图，并且下文中所述的传播步骤可以对稀疏差别图进行操作。在本地传播步骤中，稀疏差别图可以被致密化。可以根据所期望的深度信息的最小对象大小(以图像元素为单位)来设置子采样的比例。例如，假设以像素为单位的固定最小对象大小，则下面的示例能够以该像素大小的一半来传播以改进性能。例如，如果要被重构的最小对象是2n个图像元素，则可为每第n个图像元素计算传播并依旧找出对象。

差别图包括针对立体图像的每个图像元素的差别值(在一些示例中其可以是连续值，诸如浮点值；或者在其他示例中其可以是整型值)。差别值与从相机到图像元素所描绘的环境中表面的距离相关。差别图可以是与其相关联的立体图像对应的2维阵列，或者差别图可以按另一形式被存储，诸如列表或其他数据结构。

立体匹配引擎计算先前帧的立体图像之一的差别图404或者访问来自存储器的先前帧的差别图。例如，先前帧的差别图可以由本文中所述的任何方法或其他立体匹配方法来计算，并被存储在存储器中。以下参考图5更加详细地解说了可以使用的计算立体图像的差别图的方法的示例。

立体匹配引擎计算第一时间方向上的时间传播406，诸如从先前帧的差别图到当前差别图(在合适的情况下考虑到上述的当前差别图的稀疏性质)。这使得当前差别图中随机指派的差别值在合适的情况下被更加精确的值盖写。以下参考图6描述可以使用的时间传播过程的示例。时间传播也可以考虑到其他先前帧的差别图。

立体匹配引擎计算当前的稀疏的差别图中的空间传播408(在诸如向前的第一空间方向上)。参考图7描述可以使用的空间传播方法的示例。这使得当前差别图中的差别值在合适的情况下能被更加精确的值盖写。

立体匹配引擎可以计算从当前差别图到下一个差别图的时间传播410作为计算下一个差别图的过程的一部分。随后在诸如向后的第二空间方向上(不同于第一空间方向)计算下一个差别图内的第二空间传播412。

当前的稀疏差别图可以被填充414。例如，传播产生其中差别值每隔n个图像元素可用的稀疏差别图。这可以被认为是图像中差别值的方形网格，其中网格交点上的图像元素具有来自传播的差别。网格中的单元内的图像元素在其被填充之前不具有差别值。在填充传播期间没有计算的高分辨率图像元素期间，在四个最接近的稀疏网格交点(或拐角)处的差别值可以被认为是可能的差别候选。此外，从在四个网格交点处的差别值内插的差别值也可以被考虑。例如，可为五个差别值中的每一个计算相似度测量并且使用其来选择用于填充的差别值。获得这五个相似度测量所需的计算对于相邻的图像元素而言是部分冗余的，因为在其上计算相似度分数的各小片是重叠的。可以利用这一冗余性来进一步降低计算努力。这是一个可能的示例，可以使用来自稀疏差别图的其他差别值。

随后对当前差别图中的错误差别进行检查416。这被参考图9更详细地描述。立体匹配引擎输出具有任何所标识的错误的当前差别值418。在另一个示例中，它可以输出其中被标识为错误的任何差别被估计值填充的当前差别图420。这将在本文稍后更详细地描述。

现在参考图5描述计算不是立体图像流的一部分的立体图像的差别图的方法的示例。在此示例中，立体图像对500如上所述那样被访问或被接收和被校正以最小化任何垂直差别502。以与上面参考图4的框402所述的相同方式将随机差别值指派给差别图中各图像元素的子样本504。计算向前空间传播和向后空间传播506，其中这些空间传播步骤如以下参考图7和8所述。这些传播步骤可以操作稀疏差别图。传播过程使得差别图中结果是良好猜测的随机指派的差别值在差别图中被传播。可以如上参考图4的框414所述那样对稀疏差别图应用致密化或填充508。可以应用过滤步骤以将标识为错误的任何差别值标记为无效。该过滤步骤在以下参考图9更详细地描述。

以上参考图4和5所述方法的运行时与差别的数目无关并且能够实时地处理高分辨率立体图像。例如，通过使用窗口来计算单个传递中的匹配分数(可任选地具有对窗口的子采样)以及通过使用并行化的过程来计算传播。更高分辨率的图像携带大量差别提议并且使得单个迭代(随机指派和传播)能够给出准确结果。已经说过，本文中所述各示例对于低分辨率立体图像也是可行的。另外，本文中所述的过程被发现在主动和被动照明(其中照明变差或饱和)间平稳地降级。

在使用主动立体的示例中，可以使用多于一个立体相机而没有各主动立体相机安排间的任何干扰风险。另外，所使用的立体相机安排相比定制的飞行时间传感器成本更低。

本文中所述的立体匹配过程具有相对低的存储器占用(footprint)。在传统的立体算法中，一般对每个图像元素均匀地采样可能的差别的空间。在作出决定之前差别样本被保持在存储器中。在子像素差别采样被用于高质量的情况下，结果是极大的存储器占用(例如，每隔0.5个差别采样数百个差别水平)。相反，本文中所述的示例方法可以仅在存储器中保留当前最优假定差别。这使得有可能以非常少的存储器占用来计算高分辨率图像上的深度图。

以下参考图6至8所述的传播过程使用立体对的左立体图像和右立体图像的相似度测量(也称作匹配分数)。可以使用任何适用的相似度测量。例如，左图像中的图像元素区域、小片、窗口或其他组中各图像元素与右图像中对应的图像元素区域、小片、窗口或其他组的相似度测量。在本文所述的各示例中，术语窗口被用来指示图像元素区域、小片、范围或组。窗口可以为矩形、方形或任何其他形状。窗口大小、形状或类型可以随图像元素而变。相似度测量可以考虑：窗口中各图像元素的强度值；窗口中各图像元素的色彩值；或者其他更高级别的图像特征(诸如线、边缘、团块、纹理等)。可以使用的相似度测量的例子的非穷尽列表是：平方差的总和、归一化互相关、零均值归一化互相关。

在一些示例中，相似度测量可以是零均值归一化互相关(ZNCC)分数。以下给出用于在差别d处匹配像素p的ZNCC分数的示例：

$m(p,d)=\frac{{\Σ}_{q\∈w_p}(I_q-\stackrel{\‾}{I_p})\·(I_{q-d}^{\′}-\stackrel{\‾}{I_{p-d}^{\′}})}{\sqrt{{\Σ}_{q\∈w_p}{(I_q-\stackrel{\‾}{I_p})}^2\·{\Σ}_{q\∈w_p}{(I_{q-d}^{\′}-\stackrel{\‾}{I_{p-d}^{\′}})}^2}}$

符号W_p表示中心在像素p处的窗口；窗口的大小可以被用户调整或者可以在制造阶段被设置。符号I_p和I′_p分别表示像素p在立体对的左图像和右图像中的强度。符号表示在中心在p处的小片中的平均强度。通过从像素p的x坐标减去差别d而导出的像素坐标被表示为p-d。

上述等式用文字可以表达为：匹配分数(其表示对于来自立体对的一个图像的给定像素p而言差别值d有多精确)等于以像素p为中心的窗口内的q个像素的、“q在左图像中的强度与左图像中p处小片的平均强度之差”与“右图像中位置q-d处的强度与围绕右图像中位置p-d的小片的平均强度之差”的点积的总和，该总和用互相关来归一化对从而使得分数在-1到1之间且1是良好匹配。匹配窗口内每个图像元素对相似度分数的贡献可以被加权。可以考虑窗口中各图像元素的强度值、窗口中各图像元素的色彩值或任何其他图像特征来调整每个图像元素的权重。例如，图像元素的权重可以取决于其与位于该窗口中心的图像元素的强度相似度。

在许多实际应用中，左立体图像和右立体图像之间存在照明差异并且匹配分数可以被安排成将其考虑在内。例如，如上所述的示例ZNCC分数因为归一化而实现了这一点，并且使得立体匹配引擎能够对左图像和右图像中的照明差异是稳健的。但是，可以使用其他匹配分数，诸如平方差的总和。匹配分数(诸如ZNCC和平方差的总和)可以被安排成如下计算出：在窗口上使用单个扫描，累积各单独图像元素的比较，以及随后使用这些值来计算单个成本。

在其中差别d是浮点值的示例中，可以应用线性内插来导出右图像中各匹配点的强度。通过在GPU纹理缓冲器内存储左立体图像和右立体图像可以实现线性内插。

为了加快对匹配分数的计算，可以对匹配窗口W_p应用子采样。例如，可以使用来自窗口W_p的图像元素q的样本(或子集)而不是使用窗口W_p中所有的图像元素q。采样的图像元素可以基于规则网格或者可以随机选择或以某种方式选择。

在一些示例中，通过在窗口内的采样图像元素上使用单个传递执行计算来加快匹配分数的计算。这是通过仅在窗口内的各像素上的一个传递中进行计算的方式来制定ZNCC分数而得以实现的。这可使得匹配分数计算的运行时降低2倍。

现在更加详细地描述传播过程。这些涉及使用来自图像元素的一个或多个邻居的信息来决定是否以及如何更新该图像元素处的差别值。在每个示例中，传播被安排成使得图像元素被处理且其(诸)邻居被审查时，要被审查的(诸)邻居已经经历了传播过程。

图6是时间传播过程600的示例流程图，其可以用作图4中方法的一部分。时间传播包括使用来自按帧的时间次序相对于当前帧而言向前或向后的帧(诸如图1的立体图像对的流104)的信息来更新或者盖写当前帧中的信息。更新或盖写可以依据匹配分数或其他准则而发生或不发生。

时间传播过程包括计算先前帧或后续帧的差别图602。这例如可以使用图5中的方法或者通过访问来自存储器的先前结果来实现。对于当前差别图的每个图像元素604而言，时间传播过程用根据匹配分数选择的以下选项之一替代图像元素的差别值606：图像元素的当前差别值(即，无变化)；以及先前或后续差别图中对应图像元素的差别值(在图像的相同x、y坐标位置处的图像元素)。以此方式，时间传播过程使得能够用来自先前或后续帧的信息来盖写当前差别图中的差别值，如果匹配分数指示这样将改进准确性的话。可以对当前差别图中的每个图像元素并行地执行检查该更新是否合适以及在检查成功时作出该更新的过程。即，时间传播步骤可以在图像元素的级别上被并行化。以此方式，计算时间相比串行计算而言被显著减少。

图7是空间传播过程700的示例流程图，其可以用作图4中方法的一部分。空间传播包括使用差别图中的信息来更新或盖写当前差别图中d的处于差别图中不同空间位置处的其他信息。更新或盖写可以依据匹配分数或其他准则而发生或不发生。该差别图以有序次序遍历并且在遍历期间发生更新或盖写。为了实现计算时间的减少，空间传播过程可以被并行化，如下更加详细描述的。还有可能对稀疏差别图执行空间传播以实现性能改进。

访问当前帧的差别图702。例如，这可以是以随机值初始化的差别图并且其已经应用了来自先前帧的差别图的时间传播。在给定的方向上计算单个水平传递704。例如，水平传递可以包括多个水平扫描线；每个水平扫描线针对差别图中的一行。可以在并行的处理单元处由多线程过程的单个线程来计算针对水平扫描线的空间传播。这使得水平传递704被快速计算。每个水平扫描线在给定方向上并且在该扫描线内的每个图像元素位置处被遍历(诸如向前或向后)，如果匹配分数指示先前邻居具有比当前差别值更准确的差别值则用先前邻居的值来代替该差别值。先前邻居可以是差别图中在扫描线上且在当前位置前一个处的图像元素位置。

在给定的方向上计算单个垂直传递706(诸如向上或向下)。例如，垂直传递可以包括多个垂直扫描线；每个垂直扫描线针对差别图中的一列。可以在并行的处理单元处由多线程过程的单个线程来计算针对垂直扫描线的空间传播。这使得垂直传递706被快速计算。每个垂直扫描线在给定方向上并且在该扫描线内的每个图像元素位置处被遍历(诸如向上或向下)，如果匹配分数指示先前邻居具有比当前差别值更准确的差别值则用先前邻居的值来代替该差别值。在一些示例中，水平传递和垂直传递可以被并行计算。

图8是空间传播扫描线的示意图。在框800中，示出了包括按从左到右的方向遍历的三个水平扫描线的单个水平传递。在图像元素位置808处的差别值可以被用来更新位置810，如果匹配分数指示这样做是适宜的。在框802中，示出了包括按向下方向遍历的三个垂直扫描线的单个垂直传递。在图像元素位置812处的差别值可以被用来更新位置814，如果匹配分数指示这样做是适宜的。

如图4中的示例所示，空间传播和时间传播可以交织进行。例如，框408的空间传播可以包括对帧N的如图8的框800和802中所指示的单个水平传递和单个垂直传递(在诸如向前且向下的第一方向上)。从帧N到帧N+1的时间传播可以随后被应用，接着是对帧N+1应用如图8的框804和806所指示的包括单个水平传递和单个垂直传递(在诸如向后且向上的第二方向上)的第二空间传播。

图9是用于检查差别图中错误值的方法900的流程图。这还可以被认为是滤除谬误差别值并将其或者标记为无效或者用更适宜的值来填充的过滤方法。该方法可以包括：在匹配分数的基础上使图像元素902无效，例如，在匹配分数(其可以是任何上述的相似度测量)小于用户可修改的阈值的情况下。例如，用户可以使用图形用户界面输入元素(诸如数据输入框、下拉菜单、滑块条或其他元素)来设置阈值。可以根据应用域、环境中的噪声水平、图像捕捉设备的灵敏度、环境照明、环境中的纹理量、场景中的遮挡量以及其他因素来调整该阈值。该阈值可以使用自动过程被动态地调整。

在一些示例中，根据差别图作出有关立体图像之一的两个或更多个图像元素是否投射到另一立体图像的相同图像元素的检查904。如果是，则两个或更多个图像元素的匹配分数被用来选择保留一个图像元素而使其他无效。该方法使用立体图像之一的差别图而不是立体图像两者的差别图。

谬误差别可以展现为相似差别的小隔离区域。例如，差别图上的密集噪声。一种办法是使差别图中相似差别的小区域内的各图像元素无效908。该差别图可以使用任何适用的分割过程(诸如连接的组件标记)被分割成相似差别的区域。用户可定义的分割大小参数可以被用来标识要被无效的片段。

在一些示例中，经无效的差别值被估计的差别值填充。例如，对具有经无效的差别的图像元素的一个或多个邻居评估其匹配分数。经无效的差别值随后在匹配分数的基础上被填充。例如，通过复制具有最优匹配分数的邻居的值或者通过累积以其匹配分数加权的邻居分数。

作为替换或补充，本文所述的功能可至少部分地由一个或多个硬件逻辑组件来执行。例如，但非限制，可被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、程序专用的集成电路(ASIC)、程序专用的标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，图形处理单元(GPU)。

图10示出示例性的基于计算的设备1000的各组件，该基于计算的设备1000可被实现成计算和/或电子设备的任何形式，并且其中可实现立体匹配引擎的实施例。

基于计算的设备1000包括一个或多个处理器1002，这些处理器可以是微处理器、控制器或用于处理计算机可执行指令以控制设备的操作以根据立体图像对或立体图像对的流(其可以或可以不包括主动照明图案)来计算深度图的任何其他合适类型的处理器。在一些示例中，例如在使用片上系统架构的示例中，处理器1002可以包括一个或多个固定功能块(亦称加速器)，这些块以硬件(而非软件或固件)来实现立体匹配方法的一部分。可以在基于计算的设备处提供包括操作系统1018或任何其他合适的平台软件的平台软件以使得能够在该设备上执行应用软件1020。

基于计算的设备1000还包括经由通信接口1006与处理器1002进行通信的图形处理系统1004，并包括被安排成以快速且高效的方式执行并行的、线程化的操作的一个或多个图形处理单元1008。图形处理系统1004还包括被安排成启用自图形处理单元1008的快速并行访问的存储器设备1010。在各示例中，图形处理单元1008可以执行空间和时间传播过程。

可以使用可由基于计算的设备1000访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可以包括例如诸如存储器1016等计算机存储介质和通信介质。诸如存储器1016等计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可以以诸如载波或其他传输机构等已调制数据信号来体现计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的，计算机存储介质不包括通信介质。因此，计算机存储介质不应被解释为本质上是传播信号。传播信号可存在于计算机存储介质中，但是传播信号本身不是计算机存储介质的示例。虽然在基于计算的设备1000中示出了计算机存储介质(存储器1016)，然而应当理解，该存储可以是分布式的或位于远程并经由网络或其他通信链路来访问。

基于计算的设备1000还包括显示器接口1014，该显示器接口1014被安排成向显示设备输出显示信息，该显示设备可与基于计算的设备1000分开或集成。显示信息可以提供图形用户界面，其可以接收用户输入，例如用以设置阈值、参数值、指定立体图像源、查看深度和差别图以及用于其他目的。

输入/输出接口1012还被安排成接收并处理来自一个或多个设备(诸如，一个或多个立体相机或其他图像捕捉设备)的输入。输入/输出接口可以被安排成在使用主动立体安排的情况下控制IR投影仪或其他照明源。

输入/输出控制器1012还被安排成接收并处理来自用户输入设备(例如，鼠标、键盘、相机、话筒或其他传感器)的输入。在一些示例中，用户输入设备可以检测语音输入、用户姿势或其他用户动作，并且可以提供自然用户界面(NUI)。在一实施例中，如果显示设备是触敏显示设备，则它还可充当用户输入设备。输入/输出接口还可以向其他设备(诸如本地连接的打印设备或通信网络上的其他实体)输出数据。

输入/输出接口1012和显示器接口1014中任何接口可包括使用户能够按自然的、免受诸如鼠标、键盘、遥控器等输入设备所施加的人工约束的方式与基于计算的设备交互的NUI技术。可以提供的NUI技术的示例包括但不限于依赖于语音和/或话音识别、触摸和/或指示笔识别(触敏显示器)、屏幕上和屏幕附近的姿势识别、空中姿势、头部和眼睛跟踪、语音和话音、视觉、触摸、姿势以及机器智能的那些技术。可被使用NUI技术的其他示例包括意图和目的理解系统，使用深度相机(如立体相机系统、红外相机系统、rgb相机系统以及这些的组合)的运动姿势检测系统，使用加速度计/陀螺仪的运动姿势检测，面部识别，3D显示，头部、眼睛和注视跟踪，沉浸式增强现实和虚拟现实系统，以及用于使用电场传感电极(EEG和相关方法)的感测大脑活动的技术。

此处所使用的术语‘计算机’或‘基于计算的设备’是指带有处理能力以便它可以执行指令的任何设备。本领域技术人员可以理解，这样的处理能力被结合到许多不同设备，并且因此术语每个“计算机”和“基于计算的设备”包括个人计算机、服务器、移动电话(包括智能电话)、平板计算机、机顶盒、媒体播放器、游戏控制台、个人数字助理和许多其它设备。

本文描述的方法可由有形存储介质上的机器可读形式的软件来执行，例如计算机程序的形式，该计算机程序包括在该程序在计算机上运行时适用于执行本文描述的任何方法的所有步骤的计算机程序代码装置并且其中该计算机程序可被包括在计算机可读介质上。有形存储介质的示例包括计算机存储设备，计算机存储设备包括计算机可读介质，诸如盘(disk)、拇指型驱动器、存储器等而不包括所传播的信号。传播信号可存在于有形存储介质中，但是传播信号本身不是有形存储介质的示例。软件可适于在并行处理器或串行处理器上执行以使得各方法步骤可以按任何合适的次序或同时执行。

这承认，软件可以是有价值的，单独地可交换的商品。它旨在包含运行于或者控制“哑”或标准硬件以实现所需功能的软件。它还旨在包含例如用于设计硅芯片，或者用于配置通用可编程芯片的HDL(硬件描述语言)软件等“描述”或者定义硬件配置以实现期望功能的软件。

本领域技术人员会认识到，用于存储程序指令的存储设备可分布在网络上。例如，远程计算机可以存储被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。可另选地，本地计算机可以根据需要下载软件的片段，或在本地终端上执行一些软件指令，并在远程计算机(或计算机网络)上执行另一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的传统技术，软件指令的全部，或一部分可以通过诸如DSP、可编程逻辑阵列等等之类的专用电路来实现。

对精通本技术的人显而易见的是，此处给出的任何范围或设备值可以被扩展或改变，而不会丢失寻求的效果。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。

可以理解，上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不仅限于解决任何或全部所陈述的问题的那些实施例或具有任何或全部所陈述的优点那些实施例。进一步可以理解，对“一个”项目的引用是指那些项目中的一个或多个。

此处所描述的方法的步骤可以在适当的情况下以任何合适的顺序，或同时实现。另外，在不偏离此处所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。上文所描述的任何示例的各方面可以与所描述的其他示例中的任何示例的各方面相结合，以构成进一步的示例，而不会丢失寻求的效果。

此处使用了术语“包括”旨在包括已标识的方法的框或元件，但是这样的框或元件不包括排它性的列表，方法或设备可以包含额外的框或元件。

可以理解，上面的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、示例和数据提供了对各示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单独实施例描述了各实施例，但是，在不偏离本说明书的精神或范围的情况下，本领域的技术人员可以对所公开的实施例作出很多更改。

Claims (10)

1.一种方法，包括：

在处理器接收由图像捕捉设备捕捉的环境中对象的一对立体图像；

使用并行处理单元从所述立体图像计算差别图，所述差别图包括与所述对象距所述图像捕捉设备的深度相关的值；

通过并行地遍历所述差别图的多个行或多个列，以及根据所述立体图像之间的相似度测量沿所述行或列在空间上在所述差别图的图像元素处传播值。

2.如权利要求1所述的方法，其特征在于，并行地遍历包括在所述差别图的图像元素的子样本处传播值，所述图像元素的所述子样本是稀疏差别图。

3.如权利要求1或权利要求2所述的方法，其特征在于，针对围绕所述差别图的当前图像元素的一个或多个邻居的图像元素的窗口来计算所述立体图像之间的所述相似度测量。

4.如前述任意权利要求所述的方法，其特征在于，包括在时间上在来自立体图像对的流的立体图像的差别图之间传播值以及交织进行空间传播和时间传播。

5.如前述任意权利要求所述的方法，其特征在于，包括根据以下中的任何一项或多项标识错误差别值来过滤所述差别图：立体图像之间的在所述差别图中与所述差别值的位置相关联的区域处的相似度测量；根据所述差别图标识错误差别值，其中一个立体图像的两个或多个图像元素投射到另一个立体图像中的相同图像元素；根据所述差别图的具有相似差别值的片段的大小来标识错误差别值。

6.一种立体匹配引擎，包括：

处理器，安排成接收由图像捕捉设备捕捉的环境中对象的一对立体图像；

并行处理单元，安排成根据所述立体图像计算差别图，所述差别图包括与所述对象距所述图像捕捉设备的深度相关的值；所述并行处理单元被安排成通过并行地遍历所述差别图的多个行或多个列以及根据所述立体图像之间的相似度测量沿所述行或列在空间上在所述差别图的图像元素处传播值来计算所述差别图。

7.如权利要求6所述的立体匹配引擎，其特征在于，所述并行处理单元被安排成通过在图形元素的窗口的各图像元素上进行单个传递来计算所述立体图像之间针对所述窗口的所述相似度测量。

8.如权利要求6或7所述的立体匹配引擎，其特征在于，被安排成使得所述并行地遍历是按次序的，从而使所述差别图的当前图形元素的一个或多个邻居已经被遍历。

9.如权利要求6至8中任意项所述的立体匹配引擎，其特征在于，被安排成在时间上在来自立体图像对的流的立体图像的差别图之间传播值以及交织进行空间传播和时间传播。

10.如权利要求6至9中任意项所述的立体匹配引擎，其特征在于，所述立体匹配引擎至少部分地使用选自以下中的一者或多者的硬件逻辑来实现的：现场可编程门阵列、程序专用的集成电路、程序专用的标准产品、片上系统、复杂可编程逻辑器件、图形处理单元。