CN103947197A - 用于分层立体匹配的设备和方法 - Google Patents

Abstract

本发明提供了一种用于分层立体匹配的设备和方法。在该方法中，通过缩小左图像和右图像来形成缩小的图像，并且对缩小的图像进行第一网格处理。接着，通过将缩小的图像的尺寸和亮度进行放大来生成放大的图像，并且对放大的图像进行第二网格处理。

Description

用于分层立体匹配的设备和方法

技术领域

本发明涉及图像处理技术，更具体地，涉及在三维图像处理系统中使用的用于分层立体匹配的设备和方法。

背景技术

通常，立体匹配是通过左图像和右图像的像素之间的匹配来检测物体相距多远的技术。

例如，如果将一根手指很近地放置在双眼之间，那么在只睁开左眼时手指位于右侧，而在只睁开右眼时手指位于左侧。另一方面，当人在看山峰时，在只睁开左眼时或者在只睁开右眼时，山峰都会位于双眼之间的中间。

在立体匹配中，当使用两个照相机来获得图像时，每个照相机所拍摄的物体所在的位置根据距离而变化。在这种情况下，使用与距离的变化有关的信息来获得距离信息。

将使用照片为例来描述左图像和右图像之间的差异。图1A和图1B分别是例示了左图像和右图像的示例性视图。如图1A和图1B所示，可以看出，在左图像和右图像当中以深色示出的物体的位置的差异大，但是在左图像和右图像当中以浅色示出的背景的位置的差异小。

图2A和图2B分别例示了图1A的左图像的距离信息和图1B的右图像的距离信息。在图2A和图2B中，当物体的颜色更浅时，该物体与照相机的距离更近。

人使用左图像和右图像来辨识距离信息，而计算机却不能使用这种方式来进行辨识。因此，计算机使用立体匹配技术。立体匹配是用于检测左图像和右图像的像素分别与对应的左图像和右图像的哪个像素匹配的技术。

在立体匹配技术中，假设左图像和右图像被校正过。在使用立体照相机任意拍摄照片时，照片处于如图3A所示的未校正状态。

在使用立体照相机拍摄图像时，图3A例示了未校正的图像的示例，而图3B例示了校正过的图像的示例。

也就是说，图3A的图像意味着左图像和右图像没有进行校正。如果为了补偿左图像和右图像之间的未校正而如图3B所示进行校正，则左图像和右图像被校正，使得左图像和右图像具有相同的焦距和相同的基线。左图像和右图像的纵向位置也进行校正，使得当从左图像和右图像中的每个图像横向地提取一条线时，左图像和右图像的提取的线指示相同的部分。

若干种方法用作立体匹配技术，而网格处理(Trellis)作为该若干种方法的代表来使用。

网格处理是通过将分别从左图像和右图像提取的一组线进行比较来检测匹配点的立体匹配方法。在网格处理中，通过将分别从左图像和右图像提取的一组线进行比较来独立于其他线进行匹配。因此，频繁地产生了其中横向线在图像中频繁出现的条纹噪声(streak noise)，这造成图像质量的劣化。

发明内容

技术问题

为了解决上述问题构思了本发明。相应地，本发明的目的是提供用于立体匹配的设备和方法，其中使用分层结构的图像金字塔对小图像进行网格处理，并且估计了大图像的转换，使得可以减少噪声的影响。

技术方案

在本发明的一个总体方面中，提供有用于分层立体匹配的设备，该设备包括：分层结构形成单元，该分层结构形成单元配置成通过将使用立体照相机获得的左图像和右图像的尺寸缩小一半预定次数来形成缩小的图像；以及网格单元，该网格单元配置成对缩小的图像进行第一网格处理，并且将经历了第一网格处理的图像的尺寸和亮度进行放大，接着对放大的图像进行第二网格处理。

优选地但不是必须地，网格单元重复地进行图像的尺寸和亮度的放大以及第二网格处理预定次数。

优选地但不是必须地，网格单元对在前视差的周边像素进行第二网格处理。

优选地但不是必须地，分层结构形成单元包括：模糊单元，该模糊单元配置成用预定周边像素来评估任意像素的平均值，并且将评估的平均值存储在对应的像素中；以及子采样单元，该子采样单元被配置成选择若干个像素中的一个像素。

优选地但不是必须地，子采样单元选择四个像素中的一个像素。

优选地但不是必须地，网格单元包括：线提取单元，该线提取单元配置成提取与图像的对应点对应的线；亮度差计算单元，该亮度差计算单元配置成针对线提取单元所提取的线的像素来计算亮度差；路径指定单元，该路径指定单元配置成使用亮度差和预定不匹配参数来指定路径；最佳路径确定单元，该最佳路径确定单元配置成根据路径指定单元所指定的路径来确定最佳路径；以及放大单元，该放大单元配置成将图像的尺寸/亮度进行放大。

优选地但不是必须地，亮度差计算单元将亮度差应用于网格结构。

优选地但不是必须地，路径指定单元在网格结构的不匹配节点处，在在前阶段(stage)的相等层级(level)值、通过将不匹配参数加上更高层级值而获得的值以及通过将不匹配参数加上更低层级值而获得的值中指定最小值。

优选地但不是必须地，路径指定单元在网格结构的匹配节点处，通过将其自身的节点值加上在前阶段的相等层级值来指定最小值。

优选地但不是必须地，最佳路径确定单元通过确定用于使能量最小化的视差来确定最佳路径。

优选地但不是必须地，在进行第二网格处理时，亮度差计算单元针对在前视差区域的周边像素来计算亮度差。

在本发明的另一总体方面中，一种用于分层立体匹配的方法，该方法包括：通过缩小左图像和右图像来形成缩小的图像；对缩小的图像进行第一网格处理；通过放大缩小的图像的尺寸和亮度来生成放大的图像；以及对放大的图像进行第二网格处理。

优选地但不是必须地，形成缩小的图像包括：用预定周边像素来评估任意像素的平均值并且将评估的平均值存储在对应的像素中；以及选择若干个像素中的一个像素。

优选地但不是必须地，形成缩小的图像还包括重复地进行该存储和该选择预定次数。

优选地但不是必须地，进行第一网格处理包括：提取缩小的图像的线；针对该线的所有的像素来计算亮度差并且将计算的亮度差应用于网格结构；使用亮度差和预定不匹配参数来指定路径；以及根据指定的路径来确定最佳路径。

优选地但不是必须地，该方法还包括重复地进行所述生成放大的图像以及所述进行第二网格处理预定次数。

优选地但不是必须地，进行第二网格处理包括：提取放大的图像的线；针对在前视差区域的周边像素来计算亮度差并且将计算的亮度差应用于网格结构；使用亮度差和预定不匹配参数来指定路径；以及根据指定的路径来确定最佳路径。

优选地但不是必须地，指定路径包括：在网格结构的不匹配节点处，在在前阶段的相等层级值、通过将不匹配参数加上更高层级值而获得的值以及通过将不匹配参数加上更低层级值而获得的值中指定最小值；以及在网格结构的匹配节点处，通过将其自身的节点值加上在前阶段的相等层级值来指定最小值。

优选地但不是必须地，所述确定最佳路径包括通过确定用于使能量最小化的视差来确定最佳路径。

有益效果

如上所述，根据本发明，可以使用分层结构事先估计图像将会造成哪种结果，并且使用估计的结果来输出确切的结果。

此外，在本发明中使用了具有分层结构的图像金字塔，以使得可以降低计算的复杂性并且使用少量的计算来事先估计结果。

附图说明

图1A和图1B分别是例示了左图像和右图像的示例性视图。

图2A和图2B分别例示了图1A的左图像的距离信息和图1B的右图像的距离信息。

图3A例示了在使用立体照相机进行拍摄时未校正图像的示例，图3B例示了在使用立体照相机进行拍摄时校正过的图像的示例。

图4是例示用于估计三维信息的核线(epipolar line)的示例性视图。

图5是例示视差和三维信息之间的关系的示例性视图。

图6是例示由左图像和右图像中的离散成分造成的视差的示例性视图。

图7是例示匹配节点和不匹配节点处的每条路径的成本的示例性视图。

图8是例示使用两个照相机拍摄的左图像和右图像的示例性视图。

图9A是例示网格处理的示例性视图。

图9B是例示网格处理的过程的示例性视图。

图9C是例示每个节点的值来自哪条路径的示例性视图。

图9D是例示使用图9C的路径来评估用于使能量最小化的视差的处理的示例性视图。

图10是根据本发明的实施例的用于分层立体匹配的设备的配置图。

图11是例示图10的分层结构形成单元的实施例的详细结构图。

图12是示出了图10的网格单元的实施例的详细结构图。

图13A是例示根据本发明的实施例的通过对缩小的图像进行网格处理而获得的结果的示例性视图。

图13B是例示通过使用放大单元来放大图13的图像而获得的结果的示例性视图。

图13C是例示通过将图13B的最上面一行应用于网格结构而获得的结果的示例性视图。

图13D是例示根据本发明的实施例的通过对图13C提供限制条件而获得的结果的示例性视图。

图14A和14B是例示通过将图13C和图13D的处理应用于大尺寸的图像而获得的结果的示例性视图。

图15A和图15B是例示根据本发明的实施例的用于分层立体匹配的方法的流程图。

具体实施方式

在下文中，将参照附图对本发明进行更全面的描述，在附图中示出了本发明的实施例。然而，本发明可以以很多不同的形式来体现，并且不应该被解释成限于本文中阐述的实施例。相反，提供这些实施例，使得本公开内容更详尽，并且这些实施例将向本领域普通技术人员更全面地传达本发明的范围。

应该理解的是，尽管在本文中可以使用术语“第一”、“第二”等来描述各种要素，但是这些要素不应该受限于这些术语。这些术语仅用于将一个要素与另一个要素进行区分。因此，在不背离本发明的教示的情况下，下面讨论的“第一”要素也可以称作“第二”要素。

应该理解的是，当一个要素被称为“耦接”或“连接”至另一要素时，其可以直接耦接或连接至另一个要素，或者也可以存在中间要素。相反，当一个要素称为“直接耦接”或“直接连接”至另一要素时，不存在任何中间要素。

在本文中使用的术语仅仅是为了描述特定的实施例，而并不意欲限制本发明。如在本文中所使用的单数形式的“一个(a)”、“一个(an)”以及“该(the)”意在还包括复数形式，除非上下文清楚地指出并非如此。

还应该理解的是，术语“包括(includes)”和/或“包括(including)”当在本说明书中使用时指存在所述的特征、整体、步骤、操作、要素和/或部件，但是并不排除存在和/或添加一个或更多个其他特征、整体、步骤、操作、要素、部件和/或其组合。

在附图中，为了清晰，层、膜和区域的厚度被放大。全文中，相同的附图标记指代相同的要素。

在下文中，将首先描述作为立体匹配技术的网格处理方法，接着，将参照附图描述应用了网格处理方法的根据本发明的实施例的用于分层立体匹配的设备。

首先，将描述视差d和三维(3D，three-dimensional)距离Z之间的关系。立体匹配根据二维的(2D，two-dimensional)左图像和右图像来重新构造三维空间，即立体图像。在立体匹配技术中，从两个2D图像提取对应点，并且使用对应点之间的几何关系来估计3D信息。

图4是例示了用于估计三维信息的核线的示例性视图。

为了使用从2D图像提取的对应点之间的几何关系来估计3D信息，必须从立体图像中的另一图像(第二图像)提取与一个图像(第一图像)的一个点P对应的点。在这种情况下，可以看到，相对于参考图像(即第一图像)中的点P，在对应的图像(即，第二图像)的核线上存在点(例如，P'、P1'或者P2')。如果进行了核线的校正，可以通过只检查水平延伸的两条单独的扫描线来进行立体匹配。

图5是例示视差和三维信息之间的关系的示例性视图，该图例示了从立体照相机获得的左图像和右图像与在图像中形成的物体之间的关系。

对应的像素之间的视差d是单独的线上的对应点差异，视差d可以用下面的表达式1来表示。

表达式1

d＝x^r-x^l

此处，d表示视差，x^r表示右图像中的x轴长度，x^l表示左图像中的x轴长度。当将一个点P(x，y，z)拍摄进左图像和右图像时，可以根据如下面的表达式2中所表示的几何结构来获得参数之间的关系。

表达式2

x^r-x^l:f＝B:Z

此处，f表示焦距，B(基线长度)表示两个照相机之间的距离，Z表示3D距离。如果将表达式2应用于表达式1，则3D距离Z可以用下面的表达式3来表示。

表达式3

$Z=\frac{\mathrm{fB}}{d}$

因此，可以使用焦距f、两个照相机之间的距离B以及两个图像的对应点来估计3D信息，即，物体的深度。

通常的照相机将3D图像作为2D离散成分存储在电荷耦合器件(CCD，charge coupled device)传感器或者互补金属氧化物半导体(CMOS，complementary metal oxide semiconductor)传感器中。也就是说，观察到的图像通过离散的点来表示。

图6是例示由左图像和右图像中的离散成分造成的视差的示例性视图。

如图6所示，视差可以通过左图像和右图像中的离散成分来表示。与图像相距最远的点的视差是d＝0(即，z＝∞)，并且在同一线上的所有的接触点具有相同的视差。随着3D深度Z(3D长度)增加，视差减小。

如图6所示的黑点是用于验证3D坐标是否是物体的表面的匹配发生处的节点，并且限定在投影线彼此相遇处。当在某个节点处发生正确的匹配时，在该节点处相遇的两个图像的像素组成一对，这称为匹配。相反，可存在在两个图像中的一个图像中看到物体的表面，但是在两个图像中的另一个图像中看不到该物体的表面的区域，这称为不匹配。

在图6中，左侧的一条投影线与右侧的多条投影线相遇。在这种情况下，正确匹配只发生在左侧的投影线与右侧的多条投影线中的一条投影线相遇的匹配节点处。因此，如果对将图像投影在其上的投影线之间的关系进行约束，那么要查找的路径的数目减少，因此可以改进计算的效率并且可减少计算量。

立体匹配技术基于用于查找实现能量函数最小化的视差的最大后验概率(MAP，maximum a posteriori)估计。为此目的，使用基于动态规划(DP，dynamic programming)的维特比(viterbi)算法来查找最佳路径。也就是说，可以使用在匹配节点和不匹配节点处定义路径，将针对路径中的每条路径提供的成本进行加总并且检测具有最小总成本的路径的方法来执行立体匹配技术。

图7是例示匹配节点和不匹配节点处的每条路径的成本的示例性视图。此处，黑点指示匹配节点，白点指示不匹配节点。

如果假设当前阶段是阶段i，具有最小总成本的路径是通过将从阶段i-1到阶段i的每条路径的成本的和加上直到阶段i-1为止的最小值而获得的值中具有最小值的路径。

在不匹配节点处，路径是通过在在前阶段的相等层级值、通过将不匹配参数加上更高层级值而获得的值以及通过将不匹配参数加上更低层级值而获得的值中指定最小值而形成的。在匹配节点处，路径是通过将其自身的节点值加上在前阶段的相等层级处的节点值而形成的。在这种情况下，在匹配节点处需要左图像和右图像的像素值，以计算定义为匹配成本的成本。

在匹配节点和不匹配节点之间存在最佳路径，并且该最佳路径与通过向这些路径分配匹配成本和不匹配成本而获得的结果相同。在网格结构中与时间相关地通过从左到右的路径上的纵向线中的节点定义一个阶段。

为了应用网格处理，条件如下。

第一，物体在右图像中存在的位置不能比物体在左图像中存在的位置更靠右。因为左照相机比右照相机定位得更靠左，所以明显的是，物体比右图像定位得更靠左。当假设阶段i中的视差是d_i时，d_i＝x_l-x_r，并且不存在负视差。

第二，第一视差d₀和最后的视差d_2N具有为零的值。网格处理基本上是以从d_2N追踪路径的这种方式来实现。在这种情况下，如果没有指定基本值，则不能进行网格处理。如果将d_2N指定成某个值，则路径从该值开始。然而，因为d_2N不是当前指定的，所以路径在将d_2N指定成零值的状态开始。

第三，d_i和d_i-1之间的差不超过1。这是用于简化网格处理的实现的条件。因为系统必须用硬件实现，所以该条件是必不可少的。如果该条件不存在，则在不匹配节点处可变的节点的数目增加，因此复杂性增加。

这些是传统网格处理的三个条件。在本发明中，由于分层结构的应用，在这三个条件的基础上增加一个条件。稍后将进行描述。

查找最佳路径的算法如下：

在阶段i＝0中所有节点的成本δ如通过下面的表达式4来表示的进行初始化。此处，根据分配的视差d和节点中的每个节点，在沿着‘i＝1,…,2N’的正方向上重复地进行初始化，以获得最佳路径和最佳成本。

表达式4

当i+d是偶数时，成本δ表示不匹配节点。通过下面的表达式5来表示在不匹配节点处的成本δ和最佳视差Ψ。

表达式5

δ(i,j)＝min_α∈[-1,1]δ(i-1,j+α)+γα²

ψ(i,j)＝argmin_α∈[-1,1]δ(i-1,j+α)+γα²

当i+d是奇数时，成本δ表示匹配节点。通过下面的表达式6来表示在匹配节点处的成本δ和最佳视差Ψ。

表达式6

$\mathrm{\δ}(i,j)=\mathrm{\δ}(i-1,j)+|f^l\left(\frac{1}{2}(i-j+1)\right)-f^r\left(\frac{1}{2}(i+j+1)\right)$

当i是2N并且j是零时，结束正向重复计算。接着，如通过下面的表达式7所表示的来确定在反方向上的初始值(成本和最佳视差)。

表达式7

δ＝δ(2N,0)

ψ＝ψ(2N,0)

之后，如通过下面的表达式8所表示的在该阶段的反方向上执行反向递归查找，由此获得最佳视差。

表达式8

ψ(i-1)＝ψ(i)+ψ(i,ψ(i))    i＝2N,…,1

γ表示满足表达式5的不匹配参数，图像的尺寸定义为M×N。

将使用实际图像将前述方法作为示例来进行描述。

图8是例示使用两个照相机拍摄的左图像和右图像的示例性视图。

如图8所示，通过在左图像和右图像中提取对应的线(左图像中y＝3的线以及右图像中y＝3的线)来计算所有像素之间的亮度的差。

图9A是例示网格处理的示例性视图。

为了便于例示，左上角处的坐标用(0,0)来指示。第零条横向线和第七条横向线二者都具有99。为了便于例示，为了便于计算，使用值99而不是无穷大(∞)。

(1,1)、(2,2)…(6,6)的1、0、0、8、9、4是右图像的第一值14与左图像的13、14、14、22、23以及10之间的差。(1,3)、(2,4)…(6,8)的8、8、0、1、12是右图像的第二值22与左图像的14、14、22、23和10之间的差。存储以这种方式计算的像素差，如图9A所示。

使用图9A，以与图7中介绍的方式相同的方式来完成图9B。也就是说，在不匹配节点(用浅色的斜线填充的节点)的情况下，将通过将在前阶段的相等层级值与通过将预定的γ(不匹配参数)加上更高层级值和更低层级值而分别获得的值进行比较而获得的值中的最小值存储在不匹配节点中。在匹配节点(用深色的斜线填充的节点)的情况下，通过将其自身的值加上在前阶段的相等层级值而获得的值存储在匹配节点中。

图9B是例示网格处理的过程的示例性视图。

网格处理涉及能量最小化的问题。如果查找到在能量被最小化时的路径，那么查找到的路径恰好就是图像的深度。术语“能量被最小化”指左图像和右图像之间的亮度差最小，这意味着最类似匹配值是当能量被最小化时的路径。

在图9B中，最右边的值是29，29和22位于最右边的值的左侧。因为必须在22和29之间查找具有更小值的路径，因此选择22。

图9C是例示从哪条路径得到每个节点的值的示例性视图。当存储在对应的节点处的值是从在前阶段的相等层级得到时，存储的是值‘0’。当存储在对应的节点处的值是从在前阶段的更低层级得到时，存储的是值‘1’。当存储在对应的节点处的值是从在前阶段的更高层级得到时，存储的是值‘-1’。

图9D是例示使用图9C的路径来评估用于使能量最小化的视差的处理的示例性视图。在图9D中，用网格阴影填充的节点指使能量最小化的路径，该节点下方的部分指示对应的路径的视差。可以通过将对应的值加上存储在沿着左方向的路径中从零开始的值来获得视差。

下面将描述根据本发明的实施例的使用网格处理的分层立体匹配的设备和方法。

图10是根据本发明的实施例的用于分层立体匹配的设备的配置图。

如图10所示，根据本发明的实施例的用于分层立体匹配的设备包括分层结构形成单元10和网格单元20。

分层结构形成单元10将使用立体照相机(未示出)而获得的左图像和右图像缩小至

在本发明的实施例中，使用具有分层结构的图像金字塔来减少条纹噪声。图像金字塔是通过将图像的尺寸重复地缩小至一半来使用缩小的图像中的信息的方法。

当在缩小的图像中进行网格处理时，可以使用复杂性低的图像的信息来估计复杂性高的图像的转换。

在图像处理中频繁地使用分层结构。如果使用与原图像的尺寸相比其尺寸缩小至1/4的图像，则其复杂性减小至1/4。因为缩小的图像具有原图像的大部分信息，因此可以使用缩小的图像来估计原图像的转换。可以通过重复地进行降级(degradation)和子采样来获得分层结构。下面将参照图11对此进行描述。

图11是例示图10的分层结构形成单元的实施例的详细结构图。

如图11所示，根据本发明的实施例的分层结构形成单元10包括模糊单元11和子采样单元12。

对本领域普通技术人员来说明显的是，当左图像和右图像经过分层结构形成单元10中的模糊单元11和子采样单元12时，左图像和右图像中的每个图像的尺寸被缩小至1/2，并且当通过将经过子采样单元12的左图像和右图像反馈至模糊单元11来进行模糊和子采样时，左图像和右图像中的每个图像的尺寸被缩小至1/4。

模糊单元11用周边像素来评估任意像素的平均值并且将若干个像素的信息存储在一个像素中。

例如，为了获得位置(4，4)处的像素的模糊结果，模糊单元11评估在位置(4，4)处的像素的周边像素即在位置(3,3)、(3,4)、(3,5)、(4,3)、(4，4)、(4,5)、(5,3)、(5,4)以及(5,5)处的像素的亮度的平均值，并且将该平均值重新存储在位置(4，4)处的像素中。周边像素的范围可以指定得更宽。可以对指定周边像素的方法进行各种修改，这在与本发明有关的现有技术中将是明显的。

子采样单元12选择若干个像素中的任意一个像素并且将所选择的像素的尺寸缩小。因为根据本发明的实施例的分层结构形成单元10将图像的尺寸缩小至1/2，所以子采样单元12选择四个像素中的任意一个像素并且将所选择的像素的尺寸缩小。

因为子采样单元12选择四个像素中的任意一个像素，所以原图像的信息消失。然而，在子采样单元12进行子采样之前，模糊单元11进行模糊处理，因此尽可能多地保留了图像信息。

图12是例示图10的网格单元的实施例的详细结构图。

如图12所示，根据本发明的实施例的网格单元20包括扫描线提取单元21、亮度差计算单元22、路径指定单元23、存储单元24、最佳路径确定单元25以及放大单元26。

线提取单元21提取与由分层结构形成单元10缩小了的左图像和右图像中的对应点分别对应的线(图8中y＝3的线)。图9A至图9D中示出了提取的线的示例。

亮度差计算单元22计算由线提取单元21提取的线的像素之间的亮度差。由亮度差计算单元22计算的亮度差的结果如图9A所示。

在对缩小的图像进行网格处理时，亮度差计算单元22计算提取的线的所有像素之间的亮度差。然而，在对尺寸和亮度被放大的缩小的图像进行网格处理时，亮度差计算单元22可以计算在前视差区域的周边像素之间的亮度差。在下文中将对此进行描述。

路径指定单元23使用由亮度差计算单元22计算的亮度差和预定不匹配参数γ来指定路径。路径指定单元23指定路径的方法如参照图9B所描述的。

也就是说，在不匹配节点(用浅色的斜线填充的节点)的情况下，通过将在前阶段的相等层级值与通过将预定的γ(不匹配参数)加上更高层级值和加上更低层级值而分别获得的值进行比较而获得的值中的最小值存储在不匹配节点中。在匹配节点(用深色的斜线填充的节点)的情况下，通过将其自身的值加上在前阶段的相等层级值而获得的值存储在匹配节点中。

可以将由路径指定单元23指定的路径存储在存储单元24中。

最佳路径确定单元25根据由路径指定单元23指定的路径来确定最佳路径。也就是说，最佳路径确定单元25确定使能量最小化的视差。确定最佳路径和视差的处理如图9D中所描述的。

如此，网格单元20对具有分层结构的图像的所有的线进行网格处理，并且放大单元26将经历了网格处理的图像的尺寸和亮度放大至原图像的尺寸和亮度的两倍。在通过分层结构形成单元10缩小的图像中，当图像的横向尺寸缩小至一半时，图像的亮度缩小至一半。因此，放大单元26将图像的亮度放大至原图像的亮度的两倍，并且将图像的横向和纵向尺寸放大至原图像的横向和纵向尺寸的两倍。

经由亮度差计算单元22、路径指定单元23以及最佳路径确定单元25对由放大单元26放大的图像再次进行网格处理。

当分层结构形成单元10将原图像的横向和纵向尺寸缩小至1/2时，通过使缩小的图像经过放大单元26一次来放大该图像。在分层结构形成单元10将原图像的横向和纵向尺寸缩小至时，通过使缩小的图像经过放大单元26n次来放大该图像。这在与本发明有关的现有技术中是明显的。

下面将参照附图来描述根据本发明的实施例的用于分层立体匹配的设备的图像匹配。

图13A是例示根据本发明的实施例的通过使用图10的网格单元20对缩小的图像进行网格处理而获得的结果的示例性视图。当原图像的尺寸是8×8时，被分层结构形成单元10缩小至1/2的图像的尺寸是4×4。

图13B是例示通过使用放大单元26来放大图13A的图像而获得的结果的示例性视图。

如图13B所示，放大单元26将图像的尺寸和亮度放大至原图像的尺寸和亮度的两倍。因为经过子采样单元12的子采样处理四个像素缩小至一个像素，所以当图像被恢复时将该一个像素放大至四个像素。

最上面一行将会应用于网格结构。

图13C是例示通过将图13B的最上面一行应用于网格结构而获得的结果的示例性视图。

如图13C所示，相对于作为缩小的图像的结果的由深色的实线框指示的图像信息来进行匹配，因此，可以在大图像中的深色实线框内进行网格处理。然而，因为实线框彼此并不相连，因此这与网格处理的第三条件不符合。

在缩小的图像的深度信息不完全对应于原图像的深度信息的条件下，难以准确估计原图像的深度信息。因此，提供了原图像可拥有的深度的限制条件。

也就是说，当缩小的图像的深度信息定义为p_i并且原图像的深度信息定义为d_i时，d_i的值将会与p_i的值相同或者稍小于p_i的值或者稍大于p_i的值。如果假设d_i的范围是p_i±β，则原图像的结果可能受到缩小的图像的结果的影响。β是任意值。d_i＝p_i±β是应用根据本发明的实施例的网格处理的另一条件。这将被称为‘网格处理方法的第四条件’。

图13D是例示根据本发明的实施例的通过对图13C提供限制条件而获得的结果的示例性视图。

如图13D所示，缩小的图像的深度信息，即，由深色实线框指示的图像信息的网格处理应用范围通过虚线框来放大。在图13D中示出了β是2的情况。

因此，在对放大的图像进行网格处理时，亮度差计算单元22不是针对由线提取单元21提取的线的所有的像素来计算亮度差，而是针对在前视差区域的周边像素来计算亮度差。

因此，因为可以忽略针对虚线框以外的部分的亮度差的计算，所以降低了计算的复杂性。

图14A和图14B是例示通过将图13C和图13D的处理应用于大尺寸的图像而获得的结果的示例性视图。

如图14A和图14B所示，只对图14B中的白色部分应用网格处理就足够了。因此，在使用根据本发明的实施例的分层结构时，与原先的计算量相比，可以显著地减少计算量。

图15A和图15B是例示根据本发明的实施例的用于分层立体匹配的方法的流程图。

如图15A和15B所示，在根据本发明的实施例的用于分层立体匹配的方法中，首先从立体照相机(未示出)获得左图像和右图像(S10)。接着，模糊单元11对具有预定尺寸和亮度的左图像和右图像进行模糊处理(S12)，并且子采样单元12对左图像和右图像进行子采样(S14)。

如上所述，模糊处理(S12)包括用周边像素评估任意像素的平均值并且将若干个像素的信息存储在一个像素中，子采样(S14)包括选择四个像素中的任意一个像素并且将所选择的像素的尺寸缩小。

通过模糊处理(S12)和子采样(S14)，构成原图像的左图像和右图像中的每个图像的尺寸和的亮度缩小至1/2。

因为在本发明的实施例中原图像可以缩小至所以可以通过如所期望的那样反复地进行模糊处理(S12)和子采样(S14)来将图像缩小至(S16)。

之后，线提取单元21提取缩小的左图像和右图像的线(S18)，并且亮度差计算单元22计算对应的线的所有的像素之间的亮度差(S20)。然后，将计算的亮度差应用于网格处理。

路径指定单元23使用在S18中计算的亮度差和预定不匹配参数γ来指定路径(S22)。最佳路径确定单元25根据在S22中指定的路径来确定最佳路径(S24)。也就是说，最佳路径确定单元25确定使能量最小化的视差。

如此，对缩小的图像的所有线进行针对提取的线确定最佳路径的S20至S24(S26)。

此后，放大单元26将已确定了最佳路径的图像的尺寸和亮度放大至原图像的尺寸和亮度的两倍(S28)，并且线提取单元21重新提取左图像和右图像的线(S30)。接着，将网格处理的第四条件应用于提取的线(S32)。将网格处理的第四条件应用于提取的线的示例如参照图13D和图14D所描述的。如此，如果应用网格处理的第四条件，则如上所述，在再次进行网格处理时要计算的像素的数目减少。

之后，亮度差计算单元22计算在对应的线上的要进行网格处理的像素之间的亮度差(S34)，并且将计算的亮度差应用于网格结构。也就是说，亮度差计算单元22针对应用了网格处理的第四条件的像素来计算亮度差。在这种情况下，亮度差计算单元22针对在前网格处理所确定的视差区域的周边像素来计算亮度差。

路径指定单元23使用在S34中计算的像素之间的亮度差和预定不匹配参数γ来指定路径(S36)。最佳路径确定单元25根据在S36中指定的路径来确定最佳路径(S38)。也就是说，最佳路径确定单元25确定使能量最小化的最佳路径。

如此，对缩小的图像的所有线进行针对提取的线确定最佳路径的S32至S38(S40)。

此后，当放大的图像的尺寸与原图像的尺寸不相同(S42)时，将对应的图像的尺寸和亮度放大(S28)，并且可以对放大的图像执行S30至S40。

根据本发明的实施例，对于本领域普通技术人员来说明显的是，当在S16中将图像缩小至时，S28至S40执行n次。

在根据本发明的实施例的匹配方法中，最后输出原图像的立体匹配结果(S44)。

如上所述，可以使用分层结构事前估计图像将会造成哪种结果，并且使用估计的结果来输出确切的结果。此外，使用了具有分层结构的图像金字塔，使得可以降低计算的复杂性并且使用少量的计算来事前估计结果。

尽管结合优选实施例对本发明进行了描述，但是本发明的实施例只是出于例示的目的，而不应该被解释成对本发明的范围的限制。本领域普通技术人员应该理解的是，在所附权利要求所限定的技术构思和范围内，可以对本发明的实施例进行各种变化和修改。

Claims (19)

1.一种用于分层立体匹配的设备，所述设备包括：

分层结构形成单元，所述分层结构形成单元配置成通过将使用立体照相机获得的左图像和右图像的尺寸缩小一半预定次数来形成缩小的图像；以及

网格单元，所述网格单元配置成对所述缩小的图像进行第一网格处理，并且将经历了所述第一网格处理的图像的尺寸和亮度进行放大，接着对放大的图像进行第二网格处理。

2.根据权利要求1所述的设备，其中，所述网格单元重复地进行所述图像的尺寸和亮度的放大以及所述第二网格处理所述预定次数。

3.根据权利要求1所述的设备，其中，所述网格单元对在前视差的周边像素进行所述第二网格处理。

4.根据权利要求1所述的设备，其中，所述分层结构形成单元包括：

模糊单元，所述模糊单元配置成用预定周边像素来评估任意像素的平均值，并且将评估的平均值存储在对应的像素中；以及

子采样单元，所述子采样单元配置成选择若干个像素中的一个像素。

5.根据权利要求4所述的设备，其中，所述子采样单元选择四个像素中的一个像素。

6.根据权利要求1所述的设备，其中，所述网格单元包括：

线提取单元，所述线提取单元配置成提取与图像的对应点对应的线；

亮度差计算单元，所述亮度差计算单元配置成针对所述线提取单元所提取的线的像素来计算亮度差；

路径指定单元，所述路径指定单元配置成使用所述亮度差和预定不匹配参数来指定路径；

最佳路径确定单元，所述最佳路径确定单元配置成根据所述路径指定单元所指定的路径来确定最佳路径；以及

放大单元，所述放大单元配置成将所述图像的尺寸/亮度进行放大。

7.根据权利要求6所述的设备，其中，所述亮度差计算单元将所述亮度差应用于网格结构。

8.根据权利要求7所述的设备，其中，所述路径指定单元在所述网格结构的不匹配节点处，在在前阶段的相等层级值、通过将所述不匹配参数加上更高层级值而获得的值以及通过将所述不匹配参数加上更低层级值而获得的值中指定最小值。

9.根据权利要求7所述的设备，其中，所述路径指定单元在所述网格结构的匹配节点处，通过将其自身的节点值加上在前阶段的相等层级值来指定最小值。

10.根据权利要求6所述的设备，其中，所述最佳路径确定单元通过确定用于使能量最小化的视差来确定最佳路径。

11.根据权利要求6所述的设备，其中，在进行所述第二网格处理时，所述亮度差计算单元针对在前视差区域的周边像素来计算亮度差。

12.一种用于分层立体匹配的方法，所述方法包括：

通过缩小左图像和右图像来形成缩小的图像；

对所述缩小的图像进行第一网格处理；

通过放大所述缩小的图像的尺寸和亮度来生成放大的图像；以及

对所述放大的图像进行第二网格处理。

13.根据权利要求12所述的方法，其中，所述形成缩小的图像包括：

用预定周边像素来评估任意像素的平均值并且将评估的平均值存储在对应的像素中；以及

选择若干个像素中的一个像素。

14.根据权利要求13所述的方法，其中，所述形成缩小的图像还包括重复地进行所述存储和所述选择预定次数。

15.根据权利要求12所述的方法，其中，所述进行第一网格处理包括：

提取所述缩小的图像的线；

针对所述线的所有像素来计算亮度差并且将计算的亮度差应用于网格结构；

使用所述亮度差和预定不匹配参数来指定路径；以及

根据指定的路径来确定最佳路径。

16.根据权利要求14所述的方法，还包括重复地进行所述生成放大的图像以及所述进行第二网格处理所述预定次数。

17.根据权利要求12所述的方法，其中，所述进行第二网格处理包括：

提取所述放大的图像的线；

针对在前视差区域的周边像素来计算亮度差并且将计算的亮度差应用于网格结构；

使用所述亮度差和预定不匹配参数来指定路径；以及

根据指定的路径来确定最佳路径。

18.根据权利要求15或17所述的方法，其中，所述指定路径包括：

在所述网格结构的不匹配节点处，在在前阶段的相等层级值、通过将所述不匹配参数加上更高层级值而获得的值以及通过将所述不匹配参数加上更低层级值而获得的值中指定最小值；以及

在所述网格结构的匹配节点处，通过将其自身的节点值加上所述在前阶段的相等层级值来指定最小值。

19.根据权利要求15或者17所述的方法，其中，所述确定最佳路径包括通过确定用于使能量最小化的视差来确定最佳路径。