CN101405767A - 从图像确定深度图的方法，用于确定深度图的装置 - Google Patents

Abstract

使用基于窗口的匹配来从由不同取向获得的图像确定深度图。为要确定深度的图像点使用一组固定的匹配窗口。该组匹配窗口覆盖该图像点周围像素的占用区，并且占用区(FP)的像素所属的匹配窗口的平均数量(0)小于一加占用区中的像素数量除以15(0＜FP/15+1)，优选地小于一加占用区中的像素数量除以25(0＜FP/25+1)。

Description

从图像确定深度图的方法，用于确定深度图的装置

本发明涉及一种针对图像的一点，使用基于窗口的匹配从由不同取向获得的图像确定深度图的方法。

本发明还涉及一种用于针对图像的一点使用基于窗口的匹配从由不同取向获得的图像确定深度图的装置。

对于多种应用，需要从图像确定深度图(depth map)。这些应用的例子包括使之有可能计算由可交互控制的取向观看到的场景的图像、图像压缩、观察结果等的系统。由立体成像还原深度图的任务对于广泛的应用领域通常是至关重要的，比如3D显示、制造时的质量控制、自主导航和目标识别。在本文中，图像中点的深度指的是观看点与穿过该点且垂至于相机光轴的平面之间的距离。

当相机的观察点从第一观察点移动到第二观察点的时候，可以由图像点位置的平移量确定该图像点的深度。如果该图像是通过点投影获得的，则平移与相机的位移量成正比并且与该部分图像的深度成反比。

我们知道，为了测量平移，要使用基于窗口的匹配，其中将由相机的第一取向获得的第一图像中像素周围的窗口内的像素值与从第二取向获得的第二图像中像素周围的窗口内的像素值进行比较。匹配通常涉及确定匹配窗口内像素的像素值之间差值的总额。

基于窗口的匹配方法共同存在一个共有问题，即越界(boundaryoverreach)。在图像中的边界附近，使用匹配窗口的基于窗口的办法会造成问题。还原出来的对象边界通常会表现出在图像中发生位移。

还提出了使用自适应窗口。不过，使用自适应窗口需要一种(通常是相当复杂的)算法来调整窗口。

在Masatoshi Okutomi等人在《Computer Vision and PatternRecognition 2001》(CVPR 2001，Proceedings of the 2001 IEEEComputer Society Conference on Volume 2，2001，II-138页到II-142页，卷2)发表的文章《ASimple Stereo Algorithm to Recover PreciseObject Boundaries and Smooth Surfaces》中介绍了一种减少越界问题的方法。

在这种已知方法中，对于进行匹配的各个图像点，使用了匹配窗口，其中遍及窗口的所有点扫描所关注的点的位置。如果匹配窗口是围绕着所关注像素对称地设置的，以致匹配窗口并不会覆盖对象的边界，则不会出现越界。在整组匹配窗口内扫描所关注的像素。整组匹配窗口覆盖了所关注像素周围的占用区(footprint)。

这一已知方法给出了越界问题的解决方案。不过，这一解决方案是以必须有大量计算为代价的。此外，发生了另一个问题：平滑的视差表面遭到了破坏并且会在这些平滑视差表面内观察到很多阶梯状的矩形。在这种已知方法中，通过实施边界检测方法和与非边界地带不同地处理边界地带来对付平滑视差表面方面的问题。

不过，这种已知方法需要很大的计算量和相当复杂的算法。

发明内容

非穷举地讲，本发明的目的是提供一种方法，该方法需要相对较小的计算量，同时还提供相对可靠和精确的深度估测。

按照本发明，针对图像的点使用一组固定的匹配窗口，其中该组匹配窗口覆盖该图像点周围像素的占用区，并且占用区的像素所属的窗口的平均数量小于一加占用区中的像素数量除以15。

已知的方式使用相当大的窗口和较大的匹配窗口组。象已知方法中提出的那样使用较大的窗口组会减少越界的问题，但是需要较大的计算量。占用区，即属于至少一个匹配窗口的所关注像素周围或附近的所有像素，是很大的，并且各个像素所属的窗口的平均数量也近似等于一加像素的数量除以12.5。这导致这样一种情形：占用区中的各个像素属于较大数量的窗口。占用区内的像素属于多达20-25个窗口。匹配窗口的重叠是很大的。这具有两个不利影响，计算量很大并且传播了误差，导致了现有技术文献中介绍的效果。

本发明人已经认识到，对于基于窗口的技术，窗口的合理选择是很重要的。如果所采用的匹配窗口的大小很大，则这可能会导致具有不精确边界和细节缺失的模糊不清的深度图。另一方面，使用较小的窗口，在减小计算量和效果良好的同时，会导致一种容易出现噪声的方法。匹配窗口的重叠也很重要。

在按照本发明的方法中，使用了一组固定的匹配窗口。使用固定窗口，消除了与自适应窗口相关的问题。

该组匹配窗口确定了所关注像素周围的占用区。平均重叠较小，优选地最大为现有技术的二分之一。令人惊奇地，已经发现在这种情况下′越小越好′仍然成立。通过将匹配窗口重叠的数量减小到已知方法的最多一半，可以减小计算量，同时误差传播的问题也得到了减小。可以使这些窗口相对较小，这样减小了大计算量的必要性。

最好占用区像素所属的窗口的平均数量小于一加占用区中的像素数量除以25。于是重叠最大为现有技术的二分之一。

最好占用区像素所属的窗口的平均数量小于一加占用区中的像素数量除以50。

使用小窗口，即包括小于20个像素(最好小于10个像素)的窗口，表明较佳地只有很少的重叠。

因为可以使窗口的大小相对较小，所以能够捕捉到细节。

本方法最好使用一组具有不同取向的匹配窗口，最好具有基本上彼此垂直的取向。由于使用了具有不同取向的匹配窗口，因此对于深度图中的各个像素，结果得到了数种可能的匹配(并且因此得到了可能的视差值)，同时由于匹配窗口的不同取向，重叠可以保持得很小。匹配窗口的取向由匹配窗口的长轴和短轴或对称轴给出。

由于这种匹配窗口定位的选择，总会有或至少非常可能总是有一个不会发生越界的匹配窗口。这一冗余性能够更好的还原在其他情况下会被丢失的细节，并且还能够实现最终的视差估测方面的更大把握。由于匹配窗口的大小以及匹配窗口的数量不必很大，因此计算负担很低，并且该任务很容易并行化进行。因为这些窗口仅仅具有相对较小的重叠，所以现有技术的问题，即破坏平滑视差表面，会很少发生。这样，使用与已知方法相比简单得多的计算，可以获得同样良好或者甚至更好的结果。需要注意的是，本发明并不意味着简单地减小现有技术文档中公开的匹配窗口的大小。重要的是，平均重叠得到了减少，其中最好使用多个不同取向的匹配窗口。在现有技术文档中没有公开不同取向的匹配窗口的此类用法，而是使用同样的正方形窗口。

最好匹配窗口包括与窗口的取向平行的边缘，其中该取向是垂直的。

在优选实施方式中，匹配窗口的数量是四并且这些匹配窗口形成十字形的占用区。十字是简单的设计方案，已经证明这种设计方案会给出良好的结果。

在另一个优选实施方式中，匹配窗口的数量为八，其中这些窗口由两个四元组(foursome)构成，一个四元组是另一个四元组中的窗口的左手或右手形式，各个四元组形成一个十字。使用匹配窗口的一个四元组可以引起轻微的左向右或右向左偏斜。通过使用两个四元组，可以消除这一偏斜。

在另一种实施方式中，匹配窗口的形状基本上是三角形的。

在一种优选实施方式种，各个窗口具有n1*n2个像素的大小，其中n1≥2n2。

优选地，n1为1、2或3，最优选的情况是等于2，并且n2是5到8。

将使用附图更加详细地介绍本发明的这些和其它有利方面。

附图1表示图像的一部分和两种取向的几何关系。

附图2表示图像的一部分的图像。

附图3表示制作深度图的方法的流程图。

附图4表示现有技术中使用的一组匹配窗口。

附图5表示对于已知方法，作为占用区P的函数的重叠数量O。

附图6到12图示的是用于按照本发明的方法和装置的匹配窗口组的例子。

附图13和14图示的是按照本发明的装置。

这些附图并不是按比例画出的。一般来说，在附图中，相同的组成部分由相同的附图标记指代。

附图1表示图像10的一部分和取向12a、b的几何关系。图像的一部分可以是例如图像内的人或任何对象。本发明涉及一种为图像提供深度图的方法。可以将深度图看成是为对象点给出z值，即深度值。当从不同取向12a，b使用点投影获得包含该图像部分10的场景的图像时，在图像中可看到图像部分上的点14、15的位置是点14、15的投影16a，b、17a，b。这些投影可以由从点14、15穿过取向12a，b到图像平面18的绘制线19a-d来图示。为了阐述基本原理，取向12a，b是在与图像平面18平行的平面内选择的，但是本发明并不局限于这样选择取向12a，b。这些线19a-d与图像平面18的交点图示的是，将会在图像中看到图像部分10的点14、15的位置。

将会注意到，观察点12a，b的改变会导致在图像平面18中可看见该图像部分上的点14、15的位置16a，b、17a，b的平移。这一平移与观察点和该点之间的深度″z″成反比，并且与观察点位置的改变量成正比。结果，对于图象部分10的从取向12a，b计起深度″z″不同的点14、15，平移量是不同的。

附图2表示图像20，其包含可以看到图像的一部分的区域22。在图像20中，示出了平移向量23a，b、25a，b，在图像20中可见的图像部分的点将会响应于观察点的运动，按照这些平移向量发生平移。将会注意到，较为接近观察点的图像部分的点所对应的平移向量25a，b，要比较为远离观察点的点所对应的平移向量大。沿着线26(其中所有点的深度相同)，平移量是相同的。

当使用一个轴沿着该线26且一个轴垂直于该线的坐标系时，点可见的位置的平移″D″的幅度将会与A+Bu成正比，其中u是该点可见的位置沿着垂直于线26的轴的坐标。平移方向与观察点的运动方向相反。参数″A″与u＝0处的深度″Z0″的倒数成正比：A＝c/Z0，参数″B″类似地与该深度和垂直于观察方向的该图像部分的斜率″s″成正比：B＝c*s/Z0(c是与观察点的位移、焦距和图像比例尺成正比的比例常数)。附图1和2图解说明了使用两台相机的情形。要确定深度图，可以使用两台以上的相机。使用两台以上的相机会提高精度并且降低了背景对象被前景中的对象遮挡的机会。

附图3示意性地表示为图像或至少为图像的一部分制作深度图的方法的流程图。

在该流程图的第一和第二步骤31、32中，将相机光学器件分别定位在第一和第二观察点，从第一和第二观察点分别获得第一和第二图像。

在该流程图的第三步骤33中，选择第一图像中的像素。在第四步骤34中，针对该像素，使用匹配窗口在图像间找出最佳匹配。

在该流程图的步骤35中，使用步骤34的结果，即，窗口的最佳匹配，为所述像素给予z值。找出最佳匹配、从而确立z值的方法可以是任何使用匹配窗口找出最佳z值的方法，该方法可以是，但是不局限于，所引用的文章中介绍的计算方法，其中计算出了最小SSSD值。按照本发明的方法涉及选取匹配窗口来减少所有使用匹配窗口的方法共有的越界问题。

对图像内的所有或者一部分像素重复进行这些步骤，以获得深度图。

附图4图解说明了所引用的现有技术文章中介绍的一组匹配窗口。使用了25个窗口，各个窗口包括25个像素。正在为其确定z值的像素41(称为″所关注的点″)由黑色方块表示。使用的是5*5像素的标准匹配窗口，并且遍及该标准窗口的所有点地扫描所关注的像素。这给出了25个匹配窗口。在附图4中，这25个匹配窗口由灰色方块的5*5区域表示。必须要进行大量的计算。25个匹配窗口跨越了所关注像素周围的并且包括所关注像素的9*9＝81个像素的占用区。底部区域43图解说明了9*9像素的较大区域内的那些像素，这些像素由至少两个匹配窗口共有。这个较大区域是整组25个匹配窗口的占用区。对于占用区的各个像素，标出了各个像素共用的窗口的数量。大多数像素由超过两个(多达20个)匹配窗口共有。尤其是沿着垂直和水平轴，该数量很高。本发明人发现，像素共用窗口的平均数量是一项重要参数。这一平均数量可以通过对占用区中的所有数量进行求和并且将该求和结果除以该占用区中的像素数量来计算。现有技术作为实例给出了具有5*5像素窗口的9*9像素占用区。虽然现有技术没有公开这一方案的一般化推广，但是针对更大或更小的占用区设想出相同的方案，例如11*11或7*7占用区，在这种情况下，窗口应该分别是6*6或4*4像素。已知方法要求遍及标准窗口的所有像素扫描所关注的像素，这样，如果从4*4标准窗口开始，则将会有16个匹配窗口，覆盖7*7占用区，如果从6*6标准窗口开始，则将会有36个匹配窗口，覆盖11*11占用区，等等。

对于现有技术的设计方案，各个像素共用于扫描的窗口的平均数量是如下计算出来的：

各个窗口(附图4的顶部部分中的灰色区域)具有m*m个像素，在该例子中，m＝5。窗口的数量也是m*m，因为所关注的像素是遍及标准窗口的所有像素来扫描的。所以对于整组匹配窗口，灰色像素的总数是m*m*m*m＝m⁴。所有该组窗口的占用区，即，形成至少一个窗口的一部分的像素组，是n*n，在本例中n＝9。实际上，在现有技术的设计方案中，n＝2m-1(或m＝0.5(n+1))。

这样，各个像素所对应的窗口的平均数量是m⁴/n²。占用区的各个像素是至少一个窗口的一部分。如果像素形成不止一个窗口的一部分，则这可能会造成问题。后面将会介绍，各个像素所对应的窗口的平均数量是一个重要的值。

在本发明的概念中，这个数量称为平均重叠数量O。

在公式中：O＝m⁴/n²

给定n＝2m-1，则该公式可以写为：

O＝1/16((n+1)²/n)²

附图5以曲线图的形式给出了随着占用区的数量(即，n²)变化的O的值。

对于9*9像素的占用区，O的值是7.716，即各个像素平均起来为7.716个窗口所共有。

O是，在一次近似时，匹配窗口组的占用区的线性函数，即n²的线性函数。在一阶近似中，O大体上是占用区除以12.5加1。

匹配窗口的重叠造成误差传播的问题，尤其是在平滑视差表面中的误差传播。匹配窗口的重叠越多，问题越大。在已知方法中，破坏平滑视差表面的问题是通过实施边界检测方法和与非边界区域不同地处理边界区域来解决的。不过，这样需要额外的计算步骤。这一传播越大，O-1的值越大。在现有技术中，数量O很大，并且沿着垂直和水平线也很大，这增大了该问题。

附图6图解说明本发明的方法和装置中使用的匹配窗口组。和附图4中一样，该附图的下半部分图示的是占用区和共有像素的窗口数量。占用区包括32个像素并且平均重叠值O＝40/32＝1.25。这个重叠数量O比现有技术在类似占用区的情况下的重叠数量小得多，现有技术的重叠数量大约为2.5。应该注意到，破坏平滑视差表面的问题很可能与O-1的值成正比，因为按照定义，O的最小值是1。这样，O-1是像素重叠的最佳度量。当我们O-1时，我们看到了0.25和1.5之间更加显著的差异，即6倍。在公式中，可以将本发明的条件表达为：

O＜FP/15+1，最好是O＜FP/25+1，其中FP代表占用区中像素的数量，更好的情况是O＜FP/50+1。

在现有技术中，认为O≈FP/12.5+1。通过减少至少20％，优选地减小为最多1/2，更优选地减少为最多1/4，现有技术方法的重叠问题得到了减小。

在附图6的例子中，使用了一组四个矩形的5*2匹配窗口。这些匹配窗口的占用区形成十字。矩形的长轴是沿着水平和垂直方向取向的。

附图7图示的是窗口组的另一个例子。占用区相对较小，即17个像素。数量O为21/17＝1.24，比现有技术的O值小得多，现有技术的O值应该是接近2.36。使用了一组四个矩形的5*1匹配窗口。这些匹配窗口的占用区形成十字。

附图8图示的是按照本发明的方法和装置中使用的窗口组的再另一个例子。在这种情况下，使用了两组四个匹配窗口。占用区是45，平均值O是80/45-1＝0.777，这个平均值远小于从现有技术了解到的针对相同占用区的设计方案的平均值，现有技术的平均值大约为3.6。

附图9图示的是按照本发明的方法和装置中使用的窗口组的再另一个例子。占用区是81个像素，O的数量是88/81＝1.086，远小于现有技术的值(6.77)。在这个例子中，使用了一组4个三角形的匹配窗口。这些三角形的近似对称轴是沿着垂直和水平方向取向的。

附图10图示的是又一个例子。

附图图示的是本发明的又一个实施例。在后一个例子中，使用了一组8个三角形窗口。占用区是81，O的数量O＝120/81＝1.48。

需要注意的是，所示例子的匹配窗口没有一个是正方形的。虽然，在本发明的最宽泛的思想内，是可以使用正方形窗口的，但是最好匹配窗口是非正方形的，因为诸如矩形或三角形匹配窗口之类的非正方形形状的窗口更加适合于跟踪特定的图像特征，比如水平和垂直边缘(对于矩形匹配窗口或附图11中所示的三角形匹配窗口)或45度的边缘(对于三角形匹配窗口)。

最好占用区像素所属的窗口的平均数量小于一加占用区中的像素数量除以50。所给出的所有例子符合这一规则。附图5、6和7中所示的例子示出了基本上为矩形的匹配窗口，这些匹配窗口是彼此垂直地取向的，并且组合在一起形成十字形状。这些匹配窗口，正如附图9中所示的匹配窗口那样，示出了沿着垂直和水平方向的边缘。附图5、6和7中所示的匹配窗口具有n1*n2像素的大小，在这些例子中，具有5*1和5*2像素的大小。这些沿着垂直和水平方向取向的矩形形状的匹配窗口是优选的。

优选地，匹配窗口具有相同的形状并且形成形状的四元组，其中形状是有取向的，并且其中各个匹配窗口的形状与另一个匹配窗口的形状相关且可以通过另一个匹配窗口的90、180或270度旋转来获得各个匹配窗口的形状。附图6到12的设置示出了这些设计方案，其中各组匹配窗口是由一个(附图6、7、9和10)或两个(附图8、11)基本取向形式旋转90、180和270度来提供其它形式而得来的。这种设计方案提供了更加容易的计算。优选地，通过采用小的相对较细小的匹配窗口沿着正交方向相互取向来产生视差候选对象而达到一种平衡。

附图12表示按照本发明的匹配窗口组的另一个例子。在这个例子中，占用区小于附图11中所示的占用区并且是7*7正方形，且O＝80/49＝1.6。

该占用区甚至可以进一步减小为5*5正方形，在这样情况下，O应该是48/25＝1.92，该O值应当刚好处于O＜F/25+1＝2这一优选条件之内。

按照本发明的装置包括用于输入从不同取向获得的图像的输入端和用于针对图像的点使用基于窗口的匹配、由通过输入端接收的图像确定深度图的确定器，其中在确定器中，针对图像的该点使用一组固定的匹配窗口，其中该组匹配窗口覆盖该图像点周围的像素的占用区，并且占用区(FP)的像素所属的窗口的平均数量(O)小于一加占用区中的像素数量除以15(O＜FP/15+1)，优选地小于一加占用区中的像素数量除以25(O＜FP/25+1)，更优选地是小于一加占用区中的像素数量除以50(O＜FP/50+1)。

附图13图示的是按照本发明的装置。在附图13中用立方体代表对象，由两台相机拍摄图像。在这个例子中，示出了两台相机，但是该装置可以包括多于两台相机。这些相机可以记录彩色图像，或者单色图像或X射线图像或红外线图像。各台相机提供两组数据，其中各组数据代表一个二维图像，在该附图中由D1(x1，y1)和D2(x2，y2)表示，即两个二维数据组。这些相机从不同取向拍摄图像。该装置包括用于输入从不同取向拍摄的图像的输入端I和确定器D。在确定器D内，使用按照本发明的匹配窗口办法对这些图像进行最佳匹配。为此，确定器包括选择器133，该选择器用于在图像D1(x1，y1)或D2(x2，y2)之一中选择像素。在匹配器134中，针对所选择的像素，使用匹配窗口在这些图像之间找出最佳匹配。

在赋值器(attributor)135中，使用匹配器134的结果(即窗口的最佳匹配)为所述像素给予z值。最好来自相机的数据包括与相机的相互取向相关的数据，确定器具有用于确定相机的相互取向的构件或者包括用于将这一相互取向传达给确定器的构件，或者确定器包括用于输入这一数据(例如手工输入)的构件，或者相机的安放是固定的，从而相互取向是已知的。用相机拍摄图像最好是同步进行的。确定器具有一个输出端OP。输出数据流D(x，y，z)是包括点的x和y坐标以及z坐标(即，深度图)的数据流。可以将这一输出数据流D(x，y，z)发送给记录装置，例如以便将数据流记录在DVD数据载体或任何其它数据载体上，或者可以将输出数据流D(x，y，z)发送给用于显示三维图像的三维显示装置。

附图13图示的是包括诸如相机这样的记录装置的装置。

附图14图示的是具有用于数据载体(比如例如DVD)的输入端的装置，在该数据载体上，存储着数据D1(x1，y1)和D2(x2，y2)以及与相机的相互取向有关的数据(D(cam1，cam2)。按照本发明的装置读取该数据并且提供输出数据流D(x，y，z)。

按照本发明的装置的优选实施方式包括用于按照上面提出的方法的优选实施方式中的任何一种或者任何组合来确定深度图的构件，例如占用区(FP)的像素所属窗口的平均数量(O)小于一加占用区中的像素数量除以50(O＜FP/50+1)，或者匹配窗口或者非正方形。

按照本发明的装置可以包括用于记录图像的构件，即，该装置可以包括用于拍摄图像的相机，其中这些相机将与图像相关的数据发送给前面提到的输入端。该装置还可以从记录装置接收数据。

需要注意的是，在本发明的概念中，要广义地理解″确定器″、选择器、匹配器等，并且″确定器″、选择器、匹配器等包括例如任何硬件块(比如确定器)、为了执行所介绍的确定、选择或匹配功能的任何电路或子电路以及设计成或编制为用来执行按照本发明的确定、选择或匹配操作的任何软件块(计算机程序或子程序或者计算机程序组，或(多个)程序代码)以及单独地或组合地发挥这样的作用的硬件和软件块的任何组合，而不局限于下面给出的示范性实施方式。一个程序可以兼备数种功能。

简而言之，可以将本发明描述为：

使用基于窗口的匹配从由不同取向获得的图像确定深度图。为要确定深度的图像点使用一组固定的匹配窗口。该组匹配窗口覆盖图像点周围像素的占用区，并且占用区(FP)的像素所属匹配窗口的平均数量(O)小于一加占用区中的像素数量除以15(O＜FP/15+1)，最好小于一加占用区中的像素数量除以25(O＜FP/25+1)。

还可以将本发明嵌入在用于按照本发明的方法或装置的任何计算机程序产品中。在计算机程序产品的情况下，应当理解，命令集合的任何物理实现能够使得通用处理器或专用处理器在一系列加载步骤(可以包括中间转换步骤，象翻译成中间语言和最终的处理器语言)之后将命令取到处理器中，执行本发明的任何特征功能。具体地说，可以将计算机程序产品实现为诸如例如盘或磁带之类的载体上的数据、存在于存储器中的数据、在有线网络连接或无线网络连接上输送的数据或者纸张上的程序代码。除了程序代码之外，也可以将程序需要的特征数据实现为计算机程序产品。

本方法发挥作用所需要的某些步骤可能已经存在于处理器的功能中，而不是所介绍的在计算机程序产品中，比如数据输入和输出步骤。

应当注意，前面提到的实施方式是图解说明而不是对本发明加以限制，并且本领域技术人员将能够设计出很多可供选用的实施方式，而不会超出由所附权利要求定义的本发明的范围。

在权利要求里，置于括号之间的任何附图标记都不应解释为对权利要求的限定。

将会明了，在本发明的范围内，可能有很多变化。本领域技术人员将会意识到，本发明并不局限于所具体给出的和前文介绍的。本发明在于每种新颖的特征以及特征的每种组合。权利要求中的任何附图标记都不限定它们的范围。

例如，方法可以仅用于图像的一部分，或者可以将本发明的方法的不同实施方式用于图像的不同部分，例如对图像中心使用一种实施方式，而对图像的边缘使用另一种实施方式。

词″包括″及其同义词的使用并不排除除了权利要求中所列出的要素之外还存在其它要素的可能。置于要素前面的词″一″或″一个″的使用并不排除存在多个这种要素的可能。

Claims (17)

1.一种针对图像的点使用基于窗口的匹配从由不同取向获得的图像确定深度图的方法，其中对图像点使用一组固定的匹配窗口，其中该组匹配窗口覆盖该图像点周围像素的占用区，并且占用区(FP)的像素所属的匹配窗口的平均数量(0)小于一加占用区中的像素数量除以15(0＜FP/15+1)。

2.按照权利要求1所述的方法，其中占用区的像素所属的窗口的平均数量(0)小于一加占用区中的像素数量除以25(0＜FP/25+1)。

3.按照权利要求2所述的方法，其中占用区的像素所属的窗口的平均数量(0)小于一加占用区中的像素数量除以50(0＜FP/50+1)。

4.按照权利要求1、2或3所述的方法，其中各个匹配窗口包括少于20个像素。

5.按照权利要求4所述的方法，其中各个匹配窗口包括少于10个像素。

6.按照前述任何一项权利要求所述的方法，其中使用的是具有不同取向的匹配窗口。

7.按照权利要求6所述的方法，其中匹配窗口的取向是基本上彼此垂直的。

8.按照前述任何一项权利要求所述的方法，其中匹配窗口是非正方形的。

9.按照权利要求8所述的方法，其中匹配窗口的形状是矩形的。

10.按照权利要求8所述的方法，其中匹配窗口的形状是三角形的。

11.按照权利要求9所述的方法，其中匹配窗口是n1*n2像素，其中n1≥2n2。

12.按照权利要求11所述的方法，其中n1为1、2或3，并且n2是5到8。

13.一种针对图像的点使用基于窗口的匹配从由不同取向获得的图像确定深度图的装置，该装置包括用于输入从不同取向获得的图像(D1(x1，y1)，D2(x2，y2))的输入端(I)和用于针对图像的点使用基于窗口的匹配由通过输入端接收的图像确定深度图的确定器(D)，其中确定器被安排为用于针对图像的该点使用一组固定的匹配窗口，其中该组匹配窗口覆盖该图像的该点周围的像素的占用区，并且占用区(FP)的像素所属的匹配窗口的平均数量(0)小于一加占用区中的像素数量除以15(0＜FP/15+1)。

14.按照权利要求13所述的装置，其中占用区的像素所属的窗口的平均数量小于一加占用区中的像素数量除以25(0＜FP/25+1)。

15.按照权利要求14所述的装置，其中占用区的像素所属的窗口的平均数量小于一加占用区中的像素数量除以50(0＜FP/50+1)。

16.计算机程序，包括程序代码构件，该程序代码构件用于当在计算机上运行所述程序时，执行权利要求1到12的任何一项中所述的方法。

17.计算机程序产品，包括存储在计算机可读介质上的程序代码构件，该程序代码构件用于执行权利要求1到12的任何一项中所述的方法。

Images