CN105989590A - 立体匹配方法和装置 - Google Patents

Abstract

本申请公开了一种立体匹配方法和装置。该方法包括：确定立体图像对的深度值范围，其中立体图像对包括两帧不同视角的图像；对立体图像对中的至少一帧图像进行扫描，其中在扫描期间通过邻域传播方式，使得该至少一帧图像中的每个像素维持位于深度值范围内的至少两个深度候选值；以及从至少两个深度候选值中选取一个深度候选值作为该像素的深度值。该实施方式通过在每个像素处维持多个深度候选值，增强了深度值计算方法，也即立体匹配方法的鲁棒性。

Description

立体匹配方法和装置

技术领域

本申请涉及计算机处理领域，具体涉及计算机视觉技术，尤其涉及立体匹配的方法和装置。

背景技术

立体显示技术包括立体成像技术和立体显示设备技术。立体成像的原理是从多个视角获得同一场景的图像，通过三角测量原理计算图像像素间的视差来获取场景的三维信息。立体成像技术的主要内容包括图像获取、摄像机标定、立体匹配以及三维重建。其中立体匹配的目的是在给定两帧图像的内外参数的情况下计算对应图像像素间的视差(也可以称为深度)。立体匹配的主要方法是建立一个匹配代价函数或称能量代价函数，通过此代价函数最小化来估计图像像素点的视差值或深度值。

已经提出了多种立体匹配的方法。其中，一种有效的方法是采用“胜者为王”(Winner-Take-All，WTA)策略获取最小化代价函数所对应的像素视差。该方法基于图像局部最优获取每个像素的视差。由于依赖于局部优化，WTA策略可能导致错误的视差值，并且对于弱纹理区域、重复纹理区域以及被遮挡的区域鲁棒性较差。另外，WTA策略对于每个像素，针对深度值范围内的每个深度值计算代价函数，这种计算非常费时，尤其是深度值数量较多时。

另一种常用的方法是基于邻域传播的块匹配(patchmatch，或称区域匹配)方法估计视差。该方法可以获取稠密视差图，一般包括初始化、迭代传播和后处理三个步骤。初始化一般是在候选集中随机选择几个值，然后在迭代传播时，对于每个像素，根据现有的局部代价计算方法维护一个最佳视差值(深度值)，之后将最佳值传播到其他像素。后处理主要是错误点的检测、去除和结果的平滑。这种块匹配方法同样基于局部最优代价的原则，依赖于局部代价计算方法，在每个像素处得出一个最佳视差值，对于弱纹理区域、重复纹理区域以及被遮挡的区域鲁棒性较差。另一方面，为保证较高的计算精度，初始化时需随机选择多个候选值，计算量较大。因此，如何在保证精度的同时降低候选集的大小，提升计算速度，是现有技术存在的问题。

发明内容

为解决上述一个或多个问题，本申请提供了一种立体匹配的方法和装置。

第一方面，本申请提供了一种立体匹配方法，该方法包括：确定立体图像对的深度值范围，其中立体图像对包括两帧不同视角的图像；对立体图像对中的至少一帧图像进行扫描，其中在扫描期间通过邻域传播方式，使得该至少一帧图像中的每个像素维持位于深度值范围内的至少两个深度候选值；以及从该至少两个深度候选值中选取一个深度候选值作为该像素的深度值。

在一些实施例中，确定深度值范围可以包括：设置深度值范围的最大值、最小值以及采样间隔；以及针对上述至少一帧图像中的每个像素，按照采样间隔从深度值范围内随机选择M个值作为该像素的深度候选值；并且扫描可以包括：按照扫描次序，基于邻域关系，为每个像素确定使匹配代价最优的N个深度候选值；其中，M和N为大于1的正整数，并且M≥N。

在进一步的实施例中，为每个像素确定使匹配代价最优的N个深度候选值可以包括：将待处理像素的深度候选值与已扫描的邻域像素的深度候选值合并为待处理像素的候选值集合；针对候选值集合中的每个深度候选值，计算匹配代价；以及根据匹配代价确定使匹配代价最优的N个深度候选值。

更进一步地，在一些实施例中，针对每个深度候选值计算匹配代价可以包括：通过平移方式，将包含待处理像素的参考采样区域在包含对应像素的目标采样区域内逐一匹配以计算多个匹配代价，其中目标采样区域大于参考采样区域；以及将多个匹配代价中最优的匹配代价作为该深度候选值的匹配代价。

更进一步地，在一些实施例中，计算多个匹配代价可以包括：根据深度候选值确定待处理像素在立体图像对中的对应图像上的对应像素；确定以待处理像素为中心的参考采样区域；确定以对应像素为中心的目标采样区域，其中目标采样区域的大小对应于参考采样区域以最大平移量在二维方向上平移得到的大小，最大平移量至少部分取决于采样间隔；以及将参考采样区域与目标采样区域内对应于每一个平移量和每个平移方向的每个区域分别进行匹配以计算相应的匹配代价。

在一些实施例中，上述立体匹配方法还可以包括：确定对应于最优的匹配代价的平移量和平移方向；以及基于平移量和平移方向更新深度候选值。

在一些实施例中，立体匹配方法还可以包括：对所述至少一帧图像执行多次所述扫描，其中每次扫描次序不同于前次扫描次序。

在进一步的实施例中，奇数次扫描采用第一扫描次序，偶数次扫描采用与所述第一扫描次序相反的第二扫描次序，其中第一扫描次序选自以下任一：从左到右逐行扫描的次序；从右到左逐行扫描的次序；从上到下逐列扫描的次序；以及从下到上逐列扫描的次序。

在一些实施例中，M为5，N为3。

在一些实施例中，从至少两个深度候选值中选取一个深度候选值包括：利用全局约束在至少两个深度候选值中选取一个最佳值作为该像素的深度值。

第二方面，本申请提供了一种立体匹配装置。该装置包括：初始化单元，配置用于确定立体图像对的深度值范围，其中立体图像对包括两帧不同视角的图像；扫描单元，配置用于对立体图像对中的至少一帧图像进行扫描，其中在扫描期间通过邻域传播方式，使得至少一帧图像中的每个像素维持位于深度值范围内的至少两个深度候选值；以及选取单元，配置用于从至少两个深度候选值中选取一个深度候选值作为该像素的深度值。该装置还可以包括配置用于执行根据本申请第一方面所述的方法的各实施方式的步骤的单元或装置。

本申请实施例提供的立体匹配方法，可以在每个像素处维持多个深度候选值，并将多个深度候选值传播到其他像素，使得每个像素处的深度值估计可以不依赖于局部代价计算方法，提升了立体匹配方法的鲁棒性。

在一些实施例中，通过图像平移来模拟深度(视差)空间的采样，从而在保持精度的同时提升了算法的速度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了根据本申请实施例的立体匹配方法的一个示例性流程图；

图2示出了根据本申请实施例的为每个像素确定使匹配代价最优的N个深度候选值的一个示例性实现的流程图；

图3示出了根据本申请实施例的针对每个深度候选值计算匹配代价的一个示例性实现的流程图；

图4示出了根据本申请实施例的利用图像平移来模拟深度空间的采样的原理性示意图；

图5示出了将参考采样区域与目标采样区域内对应于每一个平移量和每个平移方向的每个区域分别进行匹配的实现方法的一个示例；以及

图6示出了根据本申请实施例提供的立体匹配装置的一个实施例的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如前所述，现有技术中的一些立体匹配方法非常依赖于局部代价计算方法，鲁棒性不好。为了克服该缺陷，根据本申请实施例的立体匹配方法中引入了多猜想(multi-hypothesis)机制，其中针对每个像素维护不止一个最优候选值，从而提升立体匹配方法的鲁棒性。

请参考图1，其示出了根据本申请实施例的立体匹配方法的一个示例性流程图100。在本实施例中，对立体图像对中两个不同视角的图像的像素进行匹配以计算每一个像素处的深度值。

如图1所示，在步骤110中，确定立体图像对的深度值范围。

在本实施例中，立体图像对包括两帧不同视角的图像。可以采用多种方式来初始地确定立体图像对的深度值范围。例如，可以根据两帧不同视角的图像中相邻像素的灰度梯度的对应关系，或者根据图像中的结构特性(例如直线边缘、边缘的交点等)关系，确定立体图像对的深度值范围。

在一些实施例中，可以设置深度值范围的最大值、最小值以及采样间隔。基于这些设置，可以得到一个深度候选值集合。换言之，在最大值和最小值所限定的深度值范围内，利用采样间隔进行采样，从而得到离散的多个深度值，这些深度值构成深度候选值集合。可以理解，当采样间隔较大时，得到的离散深度值较少，也即深度候选值集合较小；当采样间隔较小时，得到的离散深度值较多，也即深度候选值集合较大。在本申请的一些实施例中，采样间隔可以设置得较大而不影响立体匹配的精度，这将在后文解释。

针对立体图像对中将要进行扫描处理的至少一帧图像中的每一个像素，按照采样间隔从深度值范围内随机选择M个值作为该像素的深度候选值。在一种实施例中，从深度候选值集合中随机选择M个值作为该像素的初始深度候选值。可以理解，M为大于1的正整数。在另一种实施例中，可以无需预先生成深度候选值集合，而是根据采样间隔直接从深度值范围内随机选择M个深度候选值。例如，当使用采样序号来表征每个深度候选值时，只需随机选择M个采样序号，然后相应地计算对应采样序号的深度候选值。本申请在此方面没有限制。

接着，在步骤120中，对立体图像对中的至少一帧图像进行扫描，在扫描期间通过邻域传播方式，使得该至少一帧图像的每个像素维持位于深度值范围内的至少两个深度候选值。

在本实施例中，可以对立体图像对中的其中一帧图像执行扫描，也可以对两帧图像都执行扫描。在扫描期间，可以基于邻域传播，遍历图像帧的像素，使得在所扫描图像帧的每个像素处维持至少两个深度候选值。

在同一图像上的几何局部区域内，像素深度值的邻域传播是基于这样一种相关性：同一图像上几何位置相邻近的像素可能具有相同或相近的深度值(图像中孤立的点除外)，即像素的深度值可能与其邻近像素的深度值相关。基于这种相关性，在图像扫描期间可以将像素的优选深度值传播到邻域像素，从而将优选结果保留下来。

在本申请的实施例中，引入多猜想机制，也即通过扫描使得每一个像素可以维持在步骤110确定的深度范围内的至少两个深度候选值。深度候选值的维持，或深度候选值的选择，是通过计算匹配代价来确定的。由于立体图像对上的两个对应像素(一个像素在立体图像对中的第一视角图像上，另一个像素在立体图像对中的第二视角图像上)是由空间同一点投影生成，所以对应像素具有非常相似的属性，例如颜色或灰度值的分布、通道等属性。匹配代价可以采用各种数值化度量来表征，其中代价最优对应于度量的最大或最小。在一些实施例中，匹配代价可以是表征像素的属性间的相似程度的相似性度量，代价最优对应于相似性度量最大。在另一些实施例中，匹配代价可以是表征像素的属性间的差异程度的差异性度量，代价最优对应于差异性度量最小。可以基于图像的各种属性，例如灰度、颜色、纹理等特征来计算上述相似性或差异性度量。相似性度量例如可以包括但不限于，像素点灰度差的平方和(SSD)、像素点灰度差的绝对值和(SAD)、归一化交叉相关(NCC)、零均值交叉相关(ZNCC)等。更具体地，一种可选的实现方式为：计算两帧图像对应像素的灰度相关性，以灰度相关性作为匹配代价，以作为深度值选择的基准。例如如果设定需要维持3个深度候选值，则选择使得两帧图像像素灰度相关性最好的3个深度值作为该像素的深度候选值。在另一种可选的实现方式中，以两帧图像的对应像素为中心，选取对应的纹理特征区域进行模板匹配，以匹配度作为匹配代价，以作为深度值选择的基准。附加地，可以选取以该像素为中心的多个大小不同的纹理特征区域，采用多种模板匹配方法进行匹配，之后在所有获取的匹配度中选择至少两个最佳匹配度所对应的深度候选值。

在一些实施例中，对图像帧进行扫描包括：按照扫描次序，基于邻域关系，为每个像素确定使匹配代价最优的N个深度候选值。可以理解，N为大于1的整数，并且通常M≥N。可以设定一个或多个扫描次序，按照扫描次序对图像的像素进行扫描，对当前扫描到的像素(即待处理像素)，根据该像素的初始深度候选值以及该像素的已处理的邻域像素的深度候选值，确定使得该像素处匹配代价最优的N个深度候选值。例如可以将距离当前扫描像素一定范围内的像素作为当前扫描像素的邻域像素。此范围可以是1个像素，也可以是多个像素，本申请在此方面不做限制。为了便于描述，在下文的示例中均以距离当前扫描像素1个像素范围内的像素作为邻域像素。已处理的邻域像素(或已扫描的邻域像素)可以由像素的位置以及图像扫描次序决定。例如，当采用从左到右逐行扫描的次序扫描时，如果当前扫描到的像素为第一个像素，则该像素没有已处理邻域像素；如果当前扫描到的像素为非第一个像素的第一行像素，则该像素的已处理邻域像素为其左侧的相邻像素；如果当前扫描到的像素为非第一个像素的第一列像素，则该像素的已处理邻域像素为其上方的相邻像素；如果当前扫描到的像素为图像的其他位置的像素，则该像素的已处理邻域像素为其上方和左侧的相邻像素。

可选地，可以执行多次扫描，其中每次扫描次序不同于前次扫描次序。进一步地，在一些实施例中，对图像执行的奇数次扫描可以采用第一扫描次序，偶数次扫描可以采用与第一扫描次序相反的第二扫描次序。其中第一扫描次序可以选自以下任一：从左到右逐行扫描的次序；从右到左逐行扫描的次序；从上到下逐列扫描的次序；以及从下到上逐列扫描的次序。本领域技术人员可以理解，还可以设置其他扫描次序以对图像像素进行遍历，例如“回”字或螺旋式扫描等。本领域技术人员还可以理解，当进行多次扫描时，可以每次扫描次序均不相同。当扫描次序变化时，像素的已处理邻域像素也随之变化。例如，当对图像帧从上到下逐列扫描时，像素的已处理邻域像素为其左侧和上方的相邻像素；而当对图像帧从下到上逐列扫描时，像素的已处理邻域像素为其左侧和下方的相邻像素。

可以理解，对立体图像对中的每一帧图像的每次扫描都可以采用与上述扫描方法相同的处理，使得所扫描的每个像素维持至少两个最优深度候选值。

在一些实施例中，待扫描图像的每个像素的初始深度候选值的个数M为5，扫描后使得每个像素维持的优选深度候选值的个数N为3。换言之，针对每个像素，可以在步骤110中从深度候选值集合中随机选择5个值作为该像素的初始深度候选值，在步骤120中对每个像素维持位于深度值范围内的3个深度候选值。

之后，在步骤130中，从所维持的至少两个深度候选值中选取一个深度候选值作为该像素的深度值。

图像中的每一个像素对应于实际场景中的一点，实际场景中的一点具有唯一的深度值。在本实施例中，可以从步骤120中所维持的至少两个深度候选值中选取一个最佳值作为该像素的深度值的估计。可以采取多种方式来选取最佳值。在一些实施例中，可以利用全局约束在至少两个深度候选值中选取一个最佳值作为像素的深度值。例如可以先构造一个能量函数，然后运用优化方法得到能量函数的极值，使得能量函数最小或最大的深度值就是最佳深度值。其中能量函数可以采用多种方法构造，例如动态规划、图割、人工智能(诸如基于神经网络或遗传算法)、置信度传播等。本领域人员可以理解，可以采用各种现在已知的或未来开发的全局约束方法来选择深度最佳值，本申请在此方面没有限制。

上面描述了根据本申请实施例的引入多猜想机制的立体匹配方法。在本实施例中，通过邻域传播方式，对每个像素都维持多个深度候选值，可以使每个像素处的深度值计算不依赖于局部代价计算方法，具有更好的鲁棒性。

进一步参考图2，其示出了根据本申请实施例的为每个像素确定使匹配代价最优的N个深度候选值的一个示例性实现的流程图200，也即示出了图1的方法步骤120的一个示例性实现的流程图。在本实施例中，按照扫描次序，基于邻域关系，为每个像素确定使匹配代价最优的N个深度候选值。

如图2所示，在步骤210中，将待处理像素的深度候选值与已扫描的邻域像素的深度候选值合并为待处理像素的深度候选值集合。

如前面所提到的，已扫描的邻域像素取决于当前待处理像素的位置以及图像扫描次序。在一些实施例中，当采用逐行或逐列扫描方式时，对于大部分像素而言，其已扫描的邻域像素存在两个像素。在这些实施例中，对每个待处理的非图像边界像素和部分边界像素，将已处理的邻域像素所维持的N个深度候选值和为该像素随机选择的M个初始深度候选值合并起来，共2N+M个值，作为待处理像素的深度候选值集合。对于图像扫描的第一个待处理像素，候选值集合中只包含在该像素处随机选择的M个值。对于待处理的图像的其他边界像素，候选值集合中包含N+M个值。

接着，在步骤220中，针对候选值集合中的每个深度候选值，计算匹配代价。

在本实施例中，匹配代价的计算可以有多种方法。在一些实现中，可以采用上文所述的选取对应像素为中心的区域，计算区域的像素值间的差异，之后再对差异取平均值方法计算匹配代价。在另一些实现中，对每一个待处理像素，可以根据深度候选值以及图像的内外参数和极线约束计算对应像素的位置，之后以对应像素为中心，采样对应大小的区域，分别提取对应的采样区域的纹理特征，并计算纹理特征的匹配度。在其他的实现中，还可以计算以对应像素为中心的区域的相位匹配度或积分值向量等作为匹配代价。

在一些实施例中，可以对每个深度候选值的匹配代价进行优化。在这些实施例中，通过图像平移来模拟深度(视差)空间的采样，从而在保持精度的同时提升了算法的速度。在一些实现中，针对每个深度候选值计算匹配代价可以包括：通过平移方式，将包含待处理像素的参考采样区域在包含对应像素的目标采样区域内逐一匹配以计算多个匹配代价，其中目标采样区域大于参考采样区域；并将多个匹配代价中最优的匹配代价作为该深度候选值的匹配代价。可以将立体图像对中包含待处理像素的图像称为参考图像，另一帧图像称为目标图像，目标图像上与待处理像素所对应的像素称为对应像素，包含对应像素且与参考采样区域大小相同的区域称为对应区域。对于某一深度候选值，可以确定目标图像上包含对应像素的目标采样区域，然后计算包含待处理像素的采样区域与目标采样区域内多个与参考采样区域大小相同的区域的匹配代价，从多个匹配代价中选择最优的匹配代价作为该深度值的匹配代价，其中目标采样区域内多个与参考采样区域大小相同的区域可以通过在二维图像范围内平移对应区域而生成。下文将结合图3详细描述如何为每个深度候选值的匹配代价进行优化。

之后，在步骤230中，根据匹配代价确定使匹配代价最优的N个深度候选值。

在本实施例中，由于在步骤220中针对深度候选值集合中的每个深度候选值计算了匹配代价，因此可以从计算得出的匹配代价中选择N个最优匹配代价，保存其所对应的N个深度候选值，从而实现在每个像素处维持N个优选的深度候选值。例如，可以选择N个使得采样区域和平移后的对应区域像素值差异的平均值最小的深度值作为像素的N个深度候选值。

进一步参考图3，其示出了根据本申请实施例的针对每个深度候选值计算或优化匹配代价的一个示例性实现的流程图300。在本实施例中，通过在二维方向上平移对应区域并计算参考采样区域与平移后的对应区域的匹配代价来获得每一个深度候选值的多个匹配代价。

如图3所示，在步骤310中，根据当前深度候选值确定待处理像素在立体图像对中的对应图像上的对应像素。在一些实现中，可以根据深度候选值以及图像的内外参数和极线约束计算对应像素的位置。本领域技术人员可以理解，可以采取现在已知或未来开发的各种确定对应像素的方法，本申请在此方面没有限制。

接着，在步骤320中，确定以待处理像素为中心的参考采样区域。

在本实施例中，采用区域匹配的方法来确定匹配代价。因此，为了计算两个对应像素的匹配代价，可以以它们为中心，在两帧图像上分别进行采样，得到一个小的区域。例如，对每一个待处理像素，可以以该像素为中心，在图像上采样一定大小的区域作为参考采样区域，也即将用于匹配的区域。参考采样区域可以为任意形状，例如圆形、矩形、正方形以及不规则形状。参考采样区域的大小可以基于计算速度和精度预先设定，也可以随机设定。

接着，在步骤330中，确定以对应像素为中心的目标采样区域。

在本实施例中，目标采样区域的大小对应于参考采样区域以最大平移量在二维方向上平移得到的大小。也即，可以根据最大平移量确定目标采样区域。例如，如果参考采样区域大小为S×S，最大平移量为T(其中S和T均为正数个像素)，则目标采样区域的大小可以为(S+2×T)×(S+2×T)。

根据立体成像的几何约束，场景中具有某一深度值的物点在参考图像和目标图像上都具有唯一与其对应的像素点。当场景中该物点的深度值变化，且参考图像的对应像素点位置不变时，目标图像上对应像素点的位置会发生改变，例如平移一定的距离。换言之，对于不同的深度值，对应的像素看起来像在对应图像上平移。这样，就可以使用纯二维平移来近似基于深度值的重新投影，从而无需执行三维到二维的投影和图像重采样。

图4示出了根据本申请实施例的利用图像平移来模拟深度空间的采样的原理性示意图。如图4所示，立体图像对中的第一视角图像410为参考图像，第二视角图像420为目标图像。参考图像410中示出了包含待处理像素的参考采样区域411。沿着待处理像素的投影线可以选择多个深度候选值，图4中示出了5个深度候选值d1、d2、d3、d4和d5。针对这5个深度候选值，在目标图像420中存在与参考采样区域411对应的对应区域421-425，如虚线框所示。从图4中可以看出，对于不同的深度候选值，其在目标图像上的对应区域看起来像在目标图像上平移。

基于这一原理，可以以多个平移量和平移方向平移目标图像上的对应区域来模拟场景中该物点的深度值的变化。在一些实现中，可以将目标区域进行平移量范围内的多次平移，每一次平移对应于当前深度候选值附近的一个深度值。

上述最大平移量可以至少部分取决于采样间隔。可以理解，初始化的深度候选值中相邻候选值之间的最小间隔取决于所设置的采样间隔。因此，针对每个深度候选值，可以只需要在该最小间隔(也即采样间隔)范围内变化，以确定优选的深度候选值。相应地，目标图像上对应区域的最大平移量可以不用超过由该采样间隔确定平移范围。如果深度值采样间隔较大，则可以设定较大的最大平移量；相反如果深度值采样间隔较小，则可以设定较小的最大平移量。在一些实现中，最大平移量可以基于如下准则设定：在对应区域以最大平移量平移后，根据平移后待处理像素和对应像素的在图像上的位置和立体图像的几何约束计算深度值，该深度值与当前深度候选值之差的绝对值与采样间隔的一半近似相等。

返回图3，在步骤340中，将参考采样区域与目标采样区域内对应于每一个平移量和每个平移方向的每个区域分别进行匹配以计算相应的匹配代价。

在本实施例中，确定目标采样区域之后，可以在目标采样区域中搜索与采样区域具有最大匹配代价的目标区域。例如，通过模板匹配的方式，通过局部的图像平移来计算多个匹配代价。该目标区域的搜索可以如下进行：对每一个平移量和平移方向，将目标图像上的对应区域以该平移方向和平移量进行平移，计算参考采样区域与平移后的对应区域的匹配代价。其中平移方向可以是一维的方向(例如水平方向或竖直方向)，也可以是二维的方向(例如水平和竖直方向)，即可以只在水平方向或竖直方向上平移，也可以在水平和竖直方向上同时平移。

为了直观起见，进一步参考图5，其示出了将参考采样区域与目标采样区域内对应于每一个平移量和每个平移方向的每个区域分别进行匹配的实现方法的一个示例。如图5所示，510和520为立体图像对的两帧图像，其中510为参考图像，520为目标图像。以参考图像510中的待处理像素P(x,y)为中心，选择例如3×3大小的区域作为参考采样区域511，设置最大平移量为1，则目标采样区域531为以对应像素P’(x₅,y₅)为中心、5×5大小的区域。为了模拟深度值的多个采样，在目标采样区域531内对包含对应像素P’(x₅,y₅)的对应区域进行平移，使对应区域的中心位置分别位于(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)，(x₆,y₆)，(x₇,y₇)，(x₈,y₈)以及(x₉,y₉)，可以依次对参考采样区域511与每一次平移后的对应区域(例如将511依次与521、522、523等9个分别以(x₁,y₁)，(x₂,y₂)，(x₃,y₃)，(x₄,y₄)，(x₅,y₅)，(x₆,y₆)，(x₇,y₇)，(x₈,y₈)和(x₉,y₉)为中心的3×3大小的区域)进行匹配，计算相应的匹配代价。遍历所有平移的对应区域之后，得到9个匹配代价。

接着返回图3，在步骤350中，将所计算的多个匹配代价中最优的匹配代价作为当前深度候选值的匹配代价。

通过上述计算多个匹配代价的方法(也即步骤310到340)，本申请实施例提供的立体匹配方法可以为每个深度候选值计算出多个匹配代价。这种计算方法通过图像平移来模拟深度(视差)空间的采样，这样就可以使用纯二维平移来近似基于深度值的重新投影，从而无需执行三维到二维的投影和图像重采样，在保持精度的同时提升了算法的速度。归因于这种图像平移，在本申请实施例的立体匹配方法中，初始化时可以设置较大的采样间隔而不影响精度。

如图3所示，可选地，在上述步骤之后，本申请实施例提供的立体匹配方法还可以包括：步骤360，确定对应于最优的匹配代价的平移量的平移方向；以及步骤370，基于该平移量和平移方向更新当前深度候选值。在每个深度候选值处计算得出最优的匹配代价之后，可以根据最优匹配代价所对应的平移量和平移方向得出平移后的对应区域的图像坐标参数，之后可以基于立体图像对的几何约束，根据该坐标参数和参考采样区域的图像坐标参数计算得到一个新的深度值，将当前处理的深度候选值更新为该新的深度值。这种更新使得针对每个像素将维持的优选深度候选值更将准确。

从上述描述可知，本申请提供的立体匹配方法，可以在每个像素处维持多个深度候选值，增强深度值计算方法的鲁棒性。在一些实施例中，通过将图像区域进行多次平移得到多个匹配代价，可以在保持精度的同时提升算法的速度。在一些进一步的实施例中，还可以根据最优匹配代价来更新深度值，进一步优化了深度值计算方法，提升了深度值的计算精度。

应当注意，上述实施例中以包括两帧不同视角的图像的立体图像对为例描述了本申请提供的立体匹配方法，当图像帧包括超过两个视角的图像时，可以针对每两个相邻视角的图像分别执行上述方法流程，以实现所有立体图像对的立体匹配。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

进一步参考图6，其示出了根据本申请实施例提出的立体匹配装置的一个实施例的结构示意图。

如图6所示，立体匹配装置600包括：初始化单元610，配置用于确定立体图像对的深度值范围，其中立体图像对包括两帧不同视角的图像；扫描单元620，配置用于对立体图像对中的至少一帧图像进行扫描，其中在扫描期间通过邻域传播方式，使得该至少一帧图像中的每个像素维持位于深度值范围内的至少两个深度候选值；以及选取单元630，配置用于从该至少两个深度候选值中选取一个深度候选值作为该像素的深度值。

在一些实现中，初始化单元610可以包括：深度值范围设定单元611，配置用于设置深度值范围的最大值、最小值以及采样间隔；以及深度候选值选择单元612，配置用于针对待扫描的至少一帧图像的每个像素，按照采样间隔从深度值范围内随机选择M个值作为该像素的深度候选值。

在一些实施例中，扫描单元620进一步配置用于按照扫描次序，基于邻域关系，为所扫描的每个像素确定使匹配代价最优的N个深度候选值；其中，M和N为大于1的正整数，并且M≥N。

在一些实现中，扫描单元620可以包括：深度候选值合并单元621，配置用于将待处理像素的深度候选值与已扫描的邻域像素的深度候选值合并为待处理像素的候选值集合；匹配代价计算单元622，配置用于针对深度候选值合并单元621获得的候选值集合中的每个深度候选值，计算匹配代价；以及最优深度候选值确定单元623，配置用于根据匹配代价计算单元622的计算结果确定使匹配代价最优的N个深度候选值。

在进一步的实现中，匹配代价计算单元622可以配置用于通过平移方式，将包含待处理像素的参考采样区域在包含对应像素的目标采样区域内逐一匹配以计算多个匹配代价，将多个匹配代价中最优的匹配代价作为深度候选值的匹配代价。进一步地，匹配代价计算单元622可以包括：对应像素确定单元，配置用于根据深度候选值确定待处理像素在立体图像对中的对应图像上的对应像素；参考采样区域确定单元，配置用于确定以待处理像素为中心的参考采样区域；目标采样区域确定单元，配置用于确定以对应像素为中心的目标采样区域，其中目标采样区域的大小对应于参考采样区域以最大平移量在二维方向上平移得到的大小，最大平移量至少部分取决于所设置的采样间隔；以及区域匹配单元，配置用于将参考采样区域与目标采样区域内对应每一个平移量和每个平移方向的每个区域分别进行匹配以计算相应的匹配代价。

在一些实现中，最优深度候选值确定单元623还可以配置用于基于所计算的每个深度候选值的最优匹配代价更新深度候选值，继而在所更新的深度候选值中，根据匹配代价计算单元622的计算结果确定使匹配代价最优的N个深度候选值。其中更新深度候选值可以包括确定对应于最优的匹配代价的平移量和平移方向；以及基于该平移量和平移方向来更新相应的深度候选值。

在一些实施例中，选取单元630进一步配置用于利用全局约束在所维持的至少两个深度候选值中选取一个最佳值作为像素的深度值。

应当理解，包含在立体匹配装置600中的各单元和子单元被配置用于实践本文公开的示例性实施例。因此，上面结合图1至图5描述的操作和特征也适用于立体匹配装置600及其中的单元/子单元，在此省略其详细描述。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括初始化单元，扫描单元和选取单元。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，初始化单元还可以被描述为“用于确定立体图像对的深度值范围的单元”。

本申请实施例提供的立体匹配方法可以应用于多个方面，诸如三维建模。例如，通过立体匹配方法得到的深度图或视差图，可以用于恢复景物可视表面的完整信息。

除了立体匹配应用，本申请实施例提供的多猜想机制的区域匹配方法也可以扩展其他应用中，例如光流、超分辨率、图像修复等。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。所述计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的立体匹配方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (20)

1.一种立体匹配方法，其特征在于，所述方法包括：

确定立体图像对的深度值范围，其中所述立体图像对包括两帧不同视角的图像；

对所述立体图像对中的至少一帧图像进行扫描，其中在扫描期间通过邻域传播方式，使得所述至少一帧图像中的每个像素维持位于所述深度值范围内的至少两个深度候选值；以及

从所述至少两个深度候选值中选取一个深度候选值作为所述像素的深度值。

2.根据权利要求1所述的方法，其特征在于，

所述确定深度值范围包括：

设置深度值范围的最大值、最小值以及采样间隔；以及

针对所述至少一帧图像中的每个像素，按照所述采样间隔从所述深度值范围内随机选择M个值作为所述像素的深度候选值；并且

所述扫描包括：

按照扫描次序，基于邻域关系，为每个像素确定使匹配代价最优的N个深度候选值；

其中，M和N为大于1的正整数，并且M≥N。

3.根据权利要求2所述的方法，其中，为每个像素确定使匹配代价最优的N个深度候选值包括：

将待处理像素的深度候选值与已扫描的邻域像素的深度候选值合并为所述待处理像素的候选值集合；

针对所述候选值集合中的每个深度候选值，计算匹配代价；以及

根据所述匹配代价确定使匹配代价最优的N个深度候选值。

4.根据权利要求3所述的方法，其中，针对每个深度候选值计算匹配代价包括：

通过平移方式，将包含所述待处理像素的参考采样区域在包含对应像素的目标采样区域内逐一匹配以计算多个匹配代价，其中所述目标采样区域大于所述参考采样区域；以及

将所述多个匹配代价中最优的匹配代价作为所述深度候选值的匹配代价。

5.根据权利要求4所述的方法，其中，所述计算多个匹配代价包括：

根据所述深度候选值确定待处理像素在所述立体图像对中的对应图像上的对应像素；

确定以所述待处理像素为中心的参考采样区域；

确定以所述对应像素为中心的目标采样区域，其中所述目标采样区域的大小对应于所述参考采样区域以最大平移量在二维方向上平移得到的大小，所述最大平移量至少部分取决于所述采样间隔；以及

将所述参考采样区域与所述目标采样区域内对应于每一个平移量和每个平移方向的每个区域分别进行匹配以计算相应的匹配代价。

6.根据权利要求5所述的方法，所述方法还包括：

确定对应于所述最优的匹配代价的平移量和平移方向；以及

基于所述平移量和平移方向更新所述深度候选值。

7.根据权利要求2所述的方法，其中，所述方法还包括：对所述至少一帧图像执行多次所述扫描，其中每次扫描次序不同于前次扫描次序。

8.根据权利要求7所述的方法，其中，奇数次扫描采用第一扫描次序，偶数次扫描采用与所述第一扫描次序相反的第二扫描次序，其中第一扫描次序选自以下任一：从左到右逐行扫描的次序；从右到左逐行扫描的次序；从上到下逐列扫描的次序；以及从下到上逐列扫描的次序。

9.根据权利要求2所述的方法，其中，所述M为5，N为3。

10.根据权利要求1所述的方法，其中，从所述至少两个深度候选值中选取一个深度候选值包括：

利用全局约束在所述至少两个深度候选值中选取一个最佳值作为所述像素的深度值。

11.一种立体匹配装置，其特征在于，所述装置包括：

初始化单元，配置用于确定立体图像对的深度值范围，其中所述立体图像对包括两帧不同视角的图像；

扫描单元，配置用于对所述立体图像对中的至少一帧图像进行扫描，其中在扫描期间通过邻域传播方式，使得所述至少一帧图像中的每个像素维持位于所述深度值范围内的至少两个深度候选值；以及

选取单元，配置用于从所述至少两个深度候选值中选取一个深度候选值作为所述像素的深度值。

12.根据权利要求11所述的装置，其特征在于，

所述初始化单元包括：

深度值范围设定单元，配置用于设置深度值范围的最大值、最小值以及采样间隔；以及

深度候选值选择单元，配置用于针对所述至少一帧图像的每个像素，按照所述采样间隔从所述深度值范围内随机选择M个值作为所述像素的深度候选值；并且

所述扫描单元配置用于：按照扫描次序，基于邻域关系，为每个像素确定使匹配代价最优的N个深度候选值，其中，M和N为大于1的正整数，并且M≥N。

13.根据权利要求12所述的装置，其中，所述扫描单元包括：

深度候选值合并单元，配置用于将待处理像素的深度候选值与已扫描的邻域像素的深度候选值合并为所述待处理像素的候选值集合；

匹配代价计算单元，配置用于针对所述候选值集合中的每个深度候选值，计算匹配代价；以及

最优深度候选值确定单元，配置用于根据所述匹配代价确定使匹配代价最优的N个深度候选值。

14.根据权利要求13所述的装置，其中，所述匹配代价计算单元进一步配置用于：

通过平移方式，将包含所述待处理像素的参考采样区域在包含对应像素的目标采样区域内逐一匹配以计算多个匹配代价，其中所述目标采样区域大于所述参考采样区域；以及

将所述多个匹配代价中最优的匹配代价作为所述深度候选值的匹配代价。

15.根据权利要求14所述的装置，其中，所述匹配代价计算单元包括：

对应像素确定单元，配置用于根据所述深度候选值确定待处理像素在所述立体图像对中的对应图像上的对应像素；

参考采样区域确定单元，配置用于确定以所述待处理像素为中心的参考采样区域；

目标采样区域确定单元，配置用于确定以所述对应像素为中心的目标采样区域，其中所述目标采样区域的大小对应于所述参考采样区域以最大平移量在二维方向上平移得到的大小，所述最大平移量至少部分取决于所述采样间隔；以及

区域匹配单元，配置用于将所述参考采样区域与所述目标采样区域内对应于每一个平移量和每个平移方向的每个区域分别进行匹配以计算相应的匹配代价。

16.根据权利要求15所述的装置，其中所述最优深度候选值确定单元还配置用于：

确定对应于所述最优的匹配代价的平移量和平移方向；

基于所述平移量和平移方向更新所述深度候选值；以及

从更新后的深度候选值中确定使匹配代价最优的N个深度候选值。

17.根据权利要求12所述的装置，其中，所述扫描单元还配置用于对所述至少一帧图像执行多次扫描，其中每次扫描次序不同于前次扫描次序。

18.根据权利要求17所述的装置，其中，奇数次扫描采用第一扫描次序，偶数次扫描采用与所述第一扫描次序相反的第二扫描次序，其中第一扫描次序选自以下任一：从左到右逐行扫描的次序；从右到左逐行扫描的次序；从上到下逐列扫描的次序；以及从下到上逐列扫描的次序。

19.根据权利要求12所述的装置，其中，所述M为5，N为3。

20.根据权利要求11所述的装置，其中，所述选取单元进一步配置用于利用全局约束在所述至少两个深度候选值中选取一个最佳值作为所述像素的深度值。